Groq

NVIDIA Groq 3: SRAM, дезагрегация и детерминизм в новой ИИ-платформе

После приобретения Groq за $20 млрд NVIDIA интегрировала LPU-ускорители в платформу Vera Rubin, создав гетерогенную архитектуру для инференса. Новый стоечный ускоритель Groq 3 LPX на чипах Groq 3 LP30 с 500 Мбайт SRAM и 150 Тбайт/с пропускной способности памяти обеспечивает детерминированное выполнение и низкую задержку, а фазовая дезагрегация декодирования (AFD) позволяет отделить вычисления FFN от внимания, распределяя нагрузку между GPU и LPU.

NVIDIA Groq