Résumé · 30 jours
- NVIDIA Groq 3 : SRAM, désagrégation et déterminisme dans la nouvelle plateforme IA
L'acquisition de Groq par NVIDIA pour 20 milliards de dollars a abouti à l'intégration des accélérateurs LPU dans la plateforme Vera Rubin, permettant une inférence IA désagrégée et hétérogène. Le nouveau système rack Groq 3 LPX combine 256 LPU pour une génération de jetons rapide et déterministe, tandis que Vera Rubin NVL72 gère l'entraînement et l'inférence flexibles. La plateforme cible les applications interactives à faible latence et les charges de travail multi-agents, promettant des performances jusqu'à 35 fois plus rapides que Grace Blackwell NVL72 à 400 TPS par utilisateur.
Source: dnb66 · Résumé —
original
