NVIDIA Blackwell Ultra: 15 Pflops NVFP4, 288 GB HBM3e, kein FP64

NVIDIA hat den Blackwell Ultra Accelerator vorgestellt, eine verbesserte Version der Blackwell-Architektur. Der Chip besteht aus zwei Dies mit 208 Milliarden Transistoren im TSMC-4NP-Prozess, die über NV-HBI mit 10 TB/s Bandbreite verbunden sind. Er umfasst 160 Streaming-Multiprozessoren mit 640 Tensor Cores der fünften Generation, die 15 PFlops bei NVFP4 (ohne Sparsity) liefern, sowie einen einheitlichen L2-Cache. Jeder SM verfügt über 128 CUDA-Kerne, 4 Tensor Cores mit Transformer Engine der zweiten Generation, 256 KB Tensor Memory (TMEM) und spezielle Funktionseinheiten. Das neue NVFP4-Format nutzt Micro-Block-FP8-Skalierung und Tensor-Level-FP32-Skalierung, erreicht eine Genauigkeit nahe FP8 und benötigt 1,8-mal weniger Speicher. Blackwell Ultra verbessert die Attention-Layer-Leistung durch Verdopplung des SFU-Durchsatzes für Softmax, was die Zeit bis zum ersten Token verkürzt. Der Speicher umfasst 288 GB HBM3e (8 TB/s Bandbreite), eine Steigerung um 50% gegenüber Blackwell, wodurch große Modelle mit über 300 Milliarden Parametern möglich sind. Die externe Konnektivität umfasst NVLink 5 (1,8 TB/s) und PCIe 6.0 x16. Der Grace Blackwell Ultra Superchip kombiniert eine Grace-CPU mit zwei Blackwell Ultras und bietet bis zu 40 PFlops bei NVFP4 mit Sparsity sowie 1 TB vereinheitlichten Speicher. Das Rack-System GB300 NVL72 integriert 36 Superchips für 1,1 ExaFlops FP4.