Performans Başına Watt, AI Altyapı Verimliliğinde Anahtar Metrik
NVIDIA
CoreWeave
Perplexity AI
Fireworks AI
Performans başına watt, AI fabrikalarının temelidir çünkü güç ana kısıtlama faktörüdür. NVIDIA'nın Blackwell NVL72 platformu, MoE modelleri için Hopper'a kıyasla performans başına watt'ta 25 kata kadar iyileştirme sağlarken, yaklaşan Vera Rubin platformu da raf ölçeğinde enerji verimliliğini artırmak için bunun üzerine inşa ediyor.
NVIDIA, yapay zeka altyapısı için gücün kaçınılmaz bir kısıtlama olduğunu ve dolayısıyla watt başına performansın gelir ve karlılık için kritik bir metrik haline geldiğini savunuyor. Sınırda yapay zeka modelleri giderek daha fazla uzman karışımı (mixture-of-experts - MoE) mimarisi kullandıkça, GPU alan boyutu önem kazanıyor: MoE'yi verimli bir şekilde sunmak, Hopper neslinin 8 GPU'lu alanı yerine 72 GPU'lu bir alan gerektiriyor. Tam yığın birlikte tasarımına sahip Blackwell NVL72 platformu, en son açık modeller için Hopper'a kıyasla watt başına 25 kata kadar daha yüksek performans sunuyor. NVIDIA, üretim deneyiminin anahtar olduğunu vurguluyor: Anthropic, OpenAI ve SpaceXAI, çıkarım için Blackwell NVL72'yi kullanırken; CoreWeave, Perplexity ve Fireworks AI, platformda çeşitli modeller dağıtıyor. Yeni nesil Vera Rubin platformu, enerji verimliliğini daha da artırmak için bu temel üzerine inşa ediliyor.
Kaynak: NVIDIA blog —
orijinal