AI 인프라 효율성의 핵심 지표: 성능 대 와트 비율

NVIDIA는 전력이 AI 인프라의 불가피한 제약 요소라고 주장하며, 따라서 와트당 성능이 수익과 수익성에 중요한 지표라고 강조합니다. 최첨단 AI 모델이 점차 mixture-of-experts(MoE) 아키텍처를 채택함에 따라 GPU 도메인 크기가 중요해졌습니다. MoE를 효율적으로 서비스하려면 Hopper 세대의 8-GPU 도메인이 아닌 72-GPU 도메인이 필요합니다. Blackwell NVL72 플랫폼은 풀 스택 공동 설계를 통해 최신 오픈 모델에서 Hopper 대비 최대 25배의 와트당 성능을 제공합니다. NVIDIA는 생산 경험이 핵심이라고 강조합니다. Anthropic, OpenAI, SpaceXAI는 추론을 위해 Blackwell NVL72를 사용하고 있으며, CoreWeave, Perplexity, Fireworks AI는 다양한 모델을 이 플랫폼에 배포하고 있습니다. 차세대 Vera Rubin 플랫폼은 이러한 기반 위에 구축되어 에너지 효율성을 더욱 향상시킬 것입니다.