NVIDIA Groq 3: SRAM, uitsplitsing en determinisme in het nieuwe AI-platform

NVIDIA heeft de LPU-architectuur (Language Processing Unit) van Groq geïntegreerd in zijn Vera Rubin AI-platform na de overname ter waarde van 20 miljard dollar. Het resultaat is een heterogeen systeem waarbij Vera Rubin NVL72 zorgt voor algemene training en inferentie, terwijl de Groq 3 LPX-rackversneller een gespecialiseerde engine biedt voor lage-latentie token-generatie. LPX bevat 256 Groq 3 (LP30)-chips met elk 96 miljard transistors, verbonden via RealScale C2C-interconnect. De LPU is ontworpen rond een deterministisch executiemodel met 500 MB SRAM per chip (150 TB/s bandbreedte), geen caches en expliciete gegevensverplaatsing die door een compiler wordt aangestuurd. Dit elimineert jitter en zorgt voor voorspelbare latentie, cruciaal voor interactieve AI en multi-agent systemen. Het platform maakt gebruik van fase-uitsplitsing (AFD) die aandacht en FFN-operaties scheidt: de GPU verwerkt prefill en long-context aandacht, terwijl de LPU FFN/MoE-decodering versnelt. NVIDIA claimt een snelheidsverbetering tot 35x ten opzichte van Grace Blackwell NVL72 bij 400 TPS per gebruiker en tot 10x meer omzet per MW voor latentiegevoelige workloads. De NVIDIA Dynamo-software orkestreert de heterogene decodering, classificeert verzoeken en beheert tussenliggende activaties.