NVIDIA Blackwell Ultra：15 Pflops NVFP4、288 GB HBM3e，无FP64

NVIDIA详细介绍了Blackwell Ultra加速器，这是Blackwell架构的增强版本。该芯片包含两个晶粒，采用台积电4NP工艺，拥有2080亿个晶体管，通过NV-HBI连接，带宽达10 TB/s。它包含160个流式多处理器，配备640个第五代张量核心，在NVFP4（无稀疏性）下提供15 PFlops性能，并拥有统一的L2缓存。每个SM有128个CUDA核心、4个张量核心（搭载第二代Transformer引擎）、256 KB张量内存（TMEM）以及特殊函数单元。新的NVFP4格式使用微块FP8缩放和张量级FP32缩放，精度接近FP8，内存占用减少1.8倍。Blackwell Ultra通过将用于Softmax的SFU吞吐量加倍，提升了注意力层的性能，减少了首次生成Token的时间。内存为288 GB HBM3e（带宽8 TB/s），比Blackwell提升50%，可支持超过3000亿参数的大模型。外部连接包括NVLink 5（1.8 TB/s）和PCIe 6.0 x16。Grace Blackwell Ultra超级芯片将一颗Grace CPU与两颗Blackwell Ultra结合，提供高达40 PFlops NVFP4（含稀疏性）和1 TB统一内存。GB300 NVL72机架系统集成了36个超级芯片，实现1.1 EFlops FP4性能。