Performa per Watt Adalah Metrik Kunci untuk Efisiensi Infrastruktur AI

NVIDIA berpendapat bahwa daya adalah kendala yang tak terhindarkan untuk infrastruktur AI, sehingga membuat kinerja per watt menjadi metrik kritis untuk pendapatan dan profitabilitas. Dengan model AI frontier yang semakin banyak menggunakan arsitektur mixture-of-experts (MoE), ukuran domain GPU menjadi penting: melayani MoE secara efisien membutuhkan domain 72 GPU, bukan domain 8 GPU dari generasi Hopper. Platform Blackwell NVL72, dengan codesign tumpukan penuh, memberikan kinerja per watt hingga 25 kali lipat dibandingkan Hopper untuk model terbuka terbaru. NVIDIA menekankan bahwa pengalaman produksi adalah kunci: Anthropic, OpenAI, dan SpaceXAI menggunakan Blackwell NVL72 untuk inferensi, sementara CoreWeave, Perplexity, dan Fireworks AI menyebarkan berbagai model di platform tersebut. Platform generasi berikutnya, Vera Rubin, dibangun di atas fondasi ini untuk lebih meningkatkan efisiensi energi.