Prestatie per Watt is de Belangrijkste Metriek voor Efficiëntie van AI-infrastructuur
NVIDIA
CoreWeave
Perplexity AI
Fireworks AI
Prestatie per watt is de basis voor AI-fabrieken, omdat stroom de voornaamste beperking is. Het NVIDIA Blackwell NVL72-platform levert tot 25 keer de prestatie per watt vergeleken met Hopper voor MoE-modellen, en het aankomende Vera Rubin-platform bouwt hierop voort om de energie-efficiëntie op rackschaal verder te verbeteren.
NVIDIA stelt dat stroom de onontkoombare beperking is voor AI-infrastructuur, waardoor prestatie per watt de kritieke meetwaarde wordt voor omzet en winstgevendheid. Nu geavanceerde AI-modellen steeds vaker gebruikmaken van mixture-of-experts-architectuur (MoE), is de omvang van de GPU-domein van belang: het efficiënt serveren van MoE vereist een 72-GPU-domein in plaats van het 8-GPU-domein van de Hopper-generatie. Het Blackwell NVL72-platform, met full-stack co-ontwerp, levert tot 25 keer meer prestatie per watt dan Hopper voor de nieuwste open modellen. NVIDIA benadrukt dat productie-ervaring cruciaal is: Anthropic, OpenAI en SpaceXAI gebruiken Blackwell NVL72 voor inferentie, terwijl CoreWeave, Perplexity en Fireworks AI diverse modellen op het platform inzetten. De volgende generatie Vera Rubin bouwt hierop voort om de energie-efficiëntie verder te verhogen.
Bron: NVIDIA blog —
origineel
