NVIDIA Blackwell Ultra: NVFP4, 15 Petaflops and 288 GB HBM3e, but No FP64

NVIDIA, Blackwell Ultra mimarisinin ayrıntılarını açıkladı; bu, Blackwell hızlandırıcının güncellenmiş bir sürümüdür. Çip, NV-HBI arayüzü (10 TB/s) ile birbirine bağlanmış iki kalıptan oluşur, TSMC 4NP süreciyle 208 milyar transistör içerir ve 160 akış çoklu işlem birimi (SM) ile beşinci nesil 640 tensör çekirdeği ve ikinci nesil Transformer Engine barındırır. NVFP4'te seyreklik olmadan performans 15 PFlop/s'ye ulaşır. Her SM, 128 CUDA çekirdeği, 4 tensör çekirdeği ve 256 KB tensör belleği (TMEM) içerir. Yeni NVFP4 biçimi, FP8 mikro blok ölçekleme ve tensör düzeyinde FP32 ölçekleme kullanarak FP8'e yakın doğruluk sağlarken, FP8'e kıyasla bellek tüketimini 1,8 kata, FP16'ya kıyasla 3,5 kata kadar azaltır. Bellek alt sistemi, 8 TB/s bant genişliğine sahip 288 GB HBM3e içerir. Dikkat katmanında softmax yürütme, SFU bant genişliğinin iki katına çıkarılmasıyla hızlandırılmıştır. Harici iletişim, NVLink 5 (1,8 TB/s, alan başına 576 GPU'ya kadar) ve PCIe 6.0 x16 ile temsil edilir. Grace Blackwell Ultra süper çipi, bir Grace işlemci ve iki Blackwell Ultra hızlandırıcıyı birleştirerek seyreklikle 40 PFlop/s'ye kadar ve 1 TB birleşik bellek sağlar. GB300 NVL72 sistemi, FP4'te 1,1 EFlop/s'ye ulaşmak için 36 süper çipi birleştirir. NVIDIA, FP64 geliştirmesinden neredeyse tamamen vazgeçildiğini belirtti.