NVIDIA Groq 3: SRAM, Disaggregation und Determinismus in der neuen KI-Plattform

NVIDIA hat mit der Übernahme von Groq für 20 Milliarden Dollar den größten Deal ihrer Geschichte abgeschlossen und die architektonisch fremden KI-Beschleuniger LPU in ihre Vera-Rubin-Plattform integriert, um Inference drastisch zu beschleunigen, sie disaggregiert und die Plattform heterogen zu machen. Der neue Rack-Beschleuniger NVIDIA Groq 3 LPX mit einer Leistung von 160 kW enthält 256 KI-Chips Groq 3 (LP30) mit je 96 Milliarden Transistoren, die in 32 Knoten mit 1U-Höhe, Flüssigkeitskühlung und kabelloser MGX-Bauweise zusammengefasst sind. Der Chip Groq 3 LPU basiert auf SRAM-Speicher mit 500 MB Kapazität und einer Bandbreite von 150 TB/s, ohne Caches und Hierarchie, sodass Daten unter der Kontrolle des Compilers explizit verschoben werden. Das bestimmende Merkmal der LPU ist Determinismus – keine Laufzeitvarianz durch Verlagerung aller Entscheidungen auf den Compiler und Nutzung des plesiochronen C2C-Protokolls. Die entscheidende Innovation ist die phasengestützte Disaggregation des Decodings (AFD), die den Aufmerksamkeitsmechanismus, der auf GPUs ausgeführt wird, von den FFN/MoE-Operationen trennt, die auf LPX abgewickelt werden. Dadurch können GPUs wachsende Kontextmengen absorbieren, während die Last auf der LPU konstant bleibt und unabhängig von der Kontextlänge ist. Für den praktischen Einsatz des heterogenen Decodings sorgt NVIDIA Dynamo für die Orchestrierung von Anfragen, die Arbeitsverteilung und die Aufrechterhaltung einer stabilen Latenz bei hohem Traffic. In Kombination bieten Vera Rubin NVL72 und Groq 3 LPX eine 35-mal höhere Durchsatzleistung im Vergleich zu Grace Blackwell NVL72 bei 400 Transaktionen pro Sekunde pro Nutzer und bis zu zehnmal höhere Einnahmen pro Megawatt für latenzempfindliche Workloads.