NVIDIA Blackwell Ultra: 15 Pflops NVFP4, 288 GB HBM3e, geen FP64

NVIDIA heeft details gegeven over de Blackwell Ultra-versneller, een verbeterde versie van de Blackwell-architectuur. De chip bestaat uit twee dies met 208 miljard transistoren op het TSMC 4NP-proces, verbonden via NV-HBI met 10 TB/s bandbreedte. Het bevat 160 streaming multiprocessors met 640 Tensor Cores van de vijfde generatie die 15 Pflops leveren in NVFP4 (zonder sparsity) en een unified L2-cache. Elke SM heeft 128 CUDA-cores, 4 Tensor Cores met een Transformer Engine van de tweede generatie, 256 KB Tensor Memory (TMEM) en speciale functie-eenheden. Het nieuwe NVFP4-formaat gebruikt micro-block FP8-schaling en tensor-level FP32-schaling, wat een nauwkeurigheid dicht bij FP8 bereikt met 1,8x minder geheugen. Blackwell Ultra verbetert de prestaties van de attention-laag door de SFU-doorvoer voor softmax te verdubbelen, wat de time-to-first-token verkort. Het geheugen is 288 GB HBM3e (8 TB/s bandbreedte), een toename van 50% ten opzichte van Blackwell, waardoor grote modellen met meer dan 300 miljard parameters mogelijk zijn. Externe connectiviteit omvat NVLink 5 (1,8 TB/s) en PCIe 6.0 x16. De Grace Blackwell Ultra-superchip combineert één Grace CPU met twee Blackwell Ultras en biedt tot 40 Pflops NVFP4 met sparsity en 1 TB unified geheugen. Het GB300 NVL72-racksysteem integreert 36 superchips voor 1,1 Exaflops FP4.