NVIDIA Groq 3: SRAM, desagregación y determinismo en la nueva plataforma de IA
Tras adquirir Groq por 20 mil millones de dólares, NVIDIA integró los aceleradores LPU en la plataforma Vera Rubin, creando una arquitectura heterogénea para inferencia. El nuevo acelerador LPX de rack Groq 3, basado en chips Groq 3 LP30 con 500 MB de SRAM y 150 TB/s de ancho de banda de memoria, garantiza ejecución determinista y baja latencia. La desagregación por fases de la decodificación (AFD) permite separar los cálculos FFN de la atención, distribuyendo la carga de trabajo entre GPU y LPU.
NVIDIA
Groq
ServerNews27.07 · 15:06