NVIDIA Groq 3: SRAM, декомпозиция и детерминизм в новой платформе ИИ

Groq

Приобретение Groq компанией NVIDIA за 20 миллиардов долларов привело к интеграции LPU-ускорителей в платформу Vera Rubin, что обеспечивает декомпозированный гетерогенный ИИ-инференс. Новая стоечная система Groq 3 LPX объединяет 256 LPU для быстрой детерминированной генерации токенов, в то время как Vera Rubin NVL72 обрабатывает гибкое обучение и инференс. Платформа нацелена на низколатентный интерактивный ИИ и мультиагентные нагрузки, обещая до 35-кратного ускорения по сравнению с Grace Blackwell NVL72 при 400 токенах в секунду на пользователя.

NVIDIA после приобретения Groq за 20 миллиардов долларов интегрировала архитектуру LPU (Language Processing Unit, модуль обработки языка) в свою платформу ИИ Vera Rubin. Результатом стала гетерогенная система, в которой Vera Rubin NVL72 отвечает за общее обучение и инференс, а стоечный ускоритель Groq 3 LPX обеспечивает специализированный движок для низкочастичной генерации токенов. LPX содержит

Показать ещё ↓

Источник: ServerNews — оригинал