понедельник, 13 октября 2025 г.

AI железо

https://habr.com/ru/companies/selectel/articles/955242/

Модель

RTX PRO 6000

RTX 4090

RTX A5000

L4

A2

A2000

Количество ядер CUDA

24 064

16 384

8 192

7 424

1 280

3 328

Объем памяти, ГБ

96

24

24

24

16

6

Тип памяти

GDDR7

GDDR6X

GDDR6

GDDR6

GDDR6

GDDR6

Примерная пропускная

способность памяти, ТБ/с

1,6

1,0

0,77

0,3

0,2

0,3

Модель

Qwen3-32B

Qwen3-8B

Qwen3-8B

Qwen3-8B

Qwen3-4B

Qwen3-1.7B

Число токенов

10 000

8 000

8 000

8 000

11 000

3 000

Скорость генерации для одного пользователя, токен/с

51

67

47

12


Комментариев нет:

Отправить комментарий