Hiệu suất trên mỗi Watt là Chỉ số Chính cho Hiệu quả Hạ tầng AI

NVIDIA lập luận rằng năng lượng là ràng buộc không thể tránh khỏi đối với cơ sở hạ tầng AI, khiến hiệu suất trên mỗi watt trở thành thước đo quan trọng cho doanh thu và lợi nhuận. Với các mô hình AI tiên tiến ngày càng sử dụng kiến trúc hỗn hợp chuyên gia (mixture-of-experts - MoE), kích thước miền GPU trở nên quan trọng: phục vụ MoE hiệu quả đòi hỏi miền 72 GPU thay vì miền 8 GPU của thế hệ Hopper. Nền tảng Blackwell NVL72, với thiết kế đồng bộ toàn diện (full-stack codesign), mang lại hiệu suất trên mỗi watt cao hơn tới 25 lần so với Hopper cho các mô hình mã nguồn mở mới nhất. NVIDIA nhấn mạnh rằng kinh nghiệm vận hành thực tế là chìa khóa: Anthropic, OpenAI và SpaceXAI sử dụng Blackwell NVL72 cho suy luận, trong khi CoreWeave, Perplexity và Fireworks AI triển khai nhiều mô hình khác nhau trên nền tảng này. Nền tảng Vera Rubin thế hệ tiếp theo xây dựng trên nền tảng này để nâng cao hơn nữa hiệu quả năng lượng.