Модель | RTX PRO 6000 | RTX 4090 | RTX A5000 | L4 | A2 | A2000 |
Количество ядер CUDA | 24 064 | 16 384 | 8 192 | 7 424 | 1 280 | 3 328 |
Объем памяти, ГБ | 96 | 24 | 24 | 24 | 16 | 6 |
Тип памяти | GDDR7 | GDDR6X | GDDR6 | GDDR6 | GDDR6 | GDDR6 |
Примерная пропускная способность памяти, ТБ/с | 1,6 | 1,0 | 0,77 | 0,3 | 0,2 | 0,3 |
Модель | Qwen3-32B | Qwen3-8B | Qwen3-8B | Qwen3-8B | Qwen3-4B | Qwen3-1.7B |
Число токенов | 10 000 | 8 000 | 8 000 | 8 000 | 11 000 | 3 000 |
Скорость генерации для одного пользователя, токен/с | 51 | 67 | 47 | — | 12 | — |
Комментариев нет:
Отправить комментарий