요약 · 한 달
- NVIDIA Groq 3: 새로운 AI 플랫폼의 SRAM, 분리 및 결정론
NVIDIA의 200억 달러 규모의 Groq 인수로 LPU 가속기가 Vera Rubin 플랫폼에 통합되어 분리형 이기종 AI 추론이 가능해졌습니다. 새로운 Groq 3 LPX 랙 시스템은 256개의 LPU를 결합해 빠르고 결정론적인 토큰 생성을 제공하며, Vera Rubin NVL72는 유연한 학습 및 추론을 처리합니다. 이 플랫폼은 저지연 대화형 AI 및 멀티 에이전트 워크로드를 대상으로 하며, 사용자당 400 TPS에서 Grace Blackwell NVL72보다 최대 35배 빠른 성능을 약속합니다.
출처: dnb66 · 요약 —
원문