NVIDIA Blackwell Ultra: 15 Pflops NVFP4, 288 GB HBM3e, sin FP64

NVIDIA detalló el acelerador Blackwell Ultra, una versión mejorada de la arquitectura Blackwell. El chip consta de dos chips con 208 mil millones de transistores en el proceso TSMC 4NP, conectados mediante NV-HBI con un ancho de banda de 10 TB/s. Incluye 160 multiprocesadores de flujo con 640 núcleos Tensor de quinta generación que ofrecen 15 Pflops en NVFP4 (sin dispersión) y una caché L2 unificada. Cada SM tiene 128 núcleos CUDA, 4 núcleos Tensor con Transformer Engine de segunda generación, 256 KB de Memoria Tensor (TMEM) y unidades de funciones especiales. El nuevo formato NVFP4 utiliza escalado de microbloques FP8 y escalado a nivel de tensor FP32, logrando una precisión cercana a FP8 con 1,8 veces menos memoria. Blackwell Ultra mejora el rendimiento de la capa de atención al duplicar el rendimiento de las UFEs para softmax, reduciendo el tiempo hasta el primer token. La memoria es de 288 GB HBM3e (ancho de banda de 8 TB/s), un aumento del 50 % respecto a Blackwell, lo que permite modelos grandes con más de 300 mil millones de parámetros. La conectividad externa incluye NVLink 5 (1,8 TB/s) y PCIe 6.0 x16. El superchip Grace Blackwell Ultra combina una CPU Grace con dos Blackwell Ultras, ofreciendo hasta 40 Pflops NVFP4 con dispersión y 1 TB de memoria unificada. El sistema en rack GB300 NVL72 integra 36 superchips para 1,1 Exaflops FP4.