NVIDIA запустила серийное производство ускорителя Groq 3 LPX

NVIDIA начала серийный выпуск ускорителя инференса Groq 3 LPX, дополняющего платформу Vera Rubin NVL72. В тесте модели Gemma 4 31B устройство достигло скорости 3400 выходных токенов в секунду при контексте на 100 тысяч токенов.

NVIDIA объявила о начале серийного производства Groq 3 LPX — ускорителя генерации токенов с низкой задержкой для платформы Vera Rubin NVL72. Он рассчитан прежде всего на агентные ИИ-системы, выполняющие сотни или тысячи последовательных шагов инференса.

По данным NVIDIA, в тесте сервиса Artificial Analysis ускоритель обеспечил 3400 выходных токенов в секунду на модели Gemma 4 31B с контекстом на 100 тысяч токенов. Компания называет этот результат рекордным для данной модели.

Одна стойка LPX объединяет 256 процессоров LPU. Согласно описанию платформы, каждый из них оснащён 500 Мбайт SRAM, а суммарный объём SRAM в стойке составляет 128 Гбайт при пропускной способности 40 Пбайт/с.

Облачный провайдер Nebius планирует первым внедрить Groq 3 LPX в свою платформу инференса Token Factory. В число первых пользователей новой системы также намерена войти компания Groq.