NVIDIA Groq 3: SRAM, Disagregasi, dan Determinisme di Platform AI Baru

NVIDIA mengintegrasikan arsitektur LPU (Language Processing Unit) Groq ke dalam platform AI Vera Rubin setelah akuisisi senilai $20 miliar. Hasilnya adalah sebuah sistem heterogen di mana Vera Rubin NVL72 menangani pelatihan dan inferensi umum, sementara akselerator rak Groq 3 LPX menyediakan mesin khusus untuk generasi token dengan latensi rendah. LPX berisi 256 chip Groq 3 (LP30) masing-masing dengan 96 miliar transistor, terhubung melalui interkoneksi RealScale C2C. LPU dirancang di sekitar model eksekusi deterministik dengan 500 MB SRAM per chip (bandwidth 150 TB/s), tanpa cache, dan perpindahan data eksplisit yang dikendalikan oleh kompiler. Ini menghilangkan jitter dan memastikan latensi yang dapat diprediksi, yang penting untuk AI interaktif dan sistem multi-agen. Platform ini menggunakan disagregasi fase (AFD) yang memisahkan operasi attention dan FFN: GPU menangani prefill dan attention konteks panjang, sementara LPU mempercepat decoding FFN/MoE. NVIDIA mengklaim percepatan hingga 35x dibandingkan Grace Blackwell NVL72 pada 400 TPS per pengguna, dan pendapatan per MW hingga 10x lipat untuk beban kerja yang sensitif terhadap latensi. Perangkat lunak NVIDIA Dynamo mengatur decoding heterogen, mengklasifikasikan permintaan dan mengelola aktivasi perantara.