NVIDIA Groq 3: SRAM, desagregación y determinismo en la nueva plataforma de IA

La adquisición de Groq por parte de NVIDIA por 20 mil millones de dólares ha resultado en la integración de los aceleradores LPU en la plataforma Vera Rubin, permitiendo inferencia de IA desagregada y heterogénea. El nuevo sistema rack Groq 3 LPX combina 256 LPUs para una generación de tokens rápida y determinista, mientras que Vera Rubin NVL72 maneja entrenamiento e inferencia flexibles. La plataforma está dirigida a aplicaciones interactivas de baja latencia y cargas de trabajo multiagente, prometiendo un rendimiento hasta 35 veces más rápido que Grace Blackwell NVL72 a 400 TPS por usuario.

NVIDIA Groq

NVIDIA presenta el clúster Vera Rubin POD: cinco racks, siete chips, 1,2 cuatrillones de transistores

NVIDIA ha presentado el Vera Rubin POD, un clúster de IA basado en la arquitectura MGX de tercera generación, que comprende cinco plataformas de rack especializadas con siete tipos de chips. El sistema integra 40 racks, 1,2 cuatrillones de transistores y 1152 GPU Rubin, ofreciendo un rendimiento de 60 EFLOPS y una velocidad de interconexión de 10 PB/s. El clúster incluye racks NVL72, LPX, Vera, STX y SPX, dirigido a cargas de trabajo de IA agéntica.

NVIDIA Groq