Performance per watt is the key metric for AI infrastructure efficiency

Daya merupakan kendala yang melekat pada infrastruktur AI. Jumlah token yang dapat dihasilkan oleh pabrik AI dalam anggaran daya tetap menentukan pendapatan dan profitabilitasnya. Oleh karena itu, performa per watt—metrik yang tidak bisa dimanipulasi, tetapi hanya bisa diraih melalui hasil nyata—menjadi fondasi pabrik AI. Dengan meningkatnya permintaan token dari AI agen, keputusan infrastruktur yang diambil organisasi saat ini akan menentukan siapa yang dapat berskala di dunia dengan daya terbatas. Hampir semua model AI frontier modern berjalan pada arsitektur mixture of experts (MoE). Untuk melayani model semacam itu secara efisien, ukuran domain GPU—jumlah GPU yang terhubung melalui interkoneksi ultra-cepat dan dapat diskalakan—menjadi penting, dan semakin besar semakin baik. Generasi NVIDIA Hopper menetapkan standar dengan domain 8-GPU, tetapi skala model frontier modern telah melampauinya. Melayani MoE dengan domain 72-GPU membutuhkan desain bersama (co-design) seluruh tumpukan dan kedalaman operasional yang diperoleh dari menjalankan model-model ini di bawah beban produksi nyata. Platform NVIDIA Blackwell NVL72 telah menyediakan fondasi semacam itu, menunjukkan performa per watt tertinggi untuk memaksimalkan pendapatan dan biaya token terendah untuk memaksimalkan margin. Di atas fondasi ini dibangun platform berikutnya, NVIDIA Vera Rubin, yang akan semakin meningkatkan efisiensi daya di tingkat rak. Di antara hasilnya, NVIDIA GB300 NVL72 memberikan peningkatan performa per watt hingga 25 kali lipat dibandingkan generasi Hopper untuk model open-source terkemuka. Ini dicapai melalui desain bersama yang ekstrem di semua level: dari silikon hingga perangkat lunak. NVIDIA NVLink Switch, yang dirancang khusus untuk menskalakan domain GPU, kini berada di generasi keenam dengan platform Vera Rubin, mendukung komputasi jaringan SHARP. Tumpukan perangkat lunak mencakup NVIDIA Dynamo, TensorRT LLM, SGLang, dan vLLM, serta optimalisasi: kuantisasi NVFP4, disaggregated serving, expert parallelism, perutean sadar KV, dan offloading cache KV. Pada DeepSeek V4, performa per watt meningkat 5 kali lipat dalam satu bulan. Perangkat lunak NVIDIA DSX MaxLPS memungkinkan operator menjalankan hingga 40% lebih banyak GPU dalam anggaran daya yang sama dengan mendistribusikan ulang daya. Laboratorium AI terkemuka seperti Anthropic, OpenAI, dan SpaceXAI menggunakan NVIDIA Blackwell NVL72 untuk inferensi. CoreWeave telah menerapkan Kimi K2.6 pada NVIDIA GB300 NVL72. Perplexity menjalankan Qwen3 235B dan Qwen3.5-397B-A17B pada NVIDIA GB200 NVL72. Fireworks AI menerapkan GLM 5.2 di platform NVIDIA Blackwell untuk klien termasuk Cursor dan Factory AI.