NVIDIA Blackwell Ultra: NVFP4, 15 Petaflops y 288 GB HBM3e, pero sin FP64

NVIDIA ha revelado los detalles de la arquitectura Blackwell Ultra, una versión actualizada del acelerador Blackwell. El chip consta de dos cristales conectados mediante la interfaz NV-HBI (10 TB/s), contiene 208 mil millones de transistores fabricados con el proceso TSMC 4NP y cuenta con 160 multiprocesadores de flujo (SM) con 640 núcleos tensoriales de quinta generación y un Transformer Engine de segunda generación. El rendimiento en NVFP4 alcanza los 15 Pflop/s sin dispersión. Cada SM incluye 128 núcleos CUDA, 4 núcleos tensoriales y 256 KB de memoria tensorial (TMEM). El nuevo formato NVFP4 emplea escalado de microbloques FP8 y escalado FP32 a nivel tensorial, logrando una precisión cercana a FP8 con una reducción del consumo de memoria de 1,8 veces en comparación con FP8 y hasta 3,5 veces frente a FP16. El subsistema de memoria incluye 288 GB de HBM3e con un ancho de banda de 8 TB/s. La ejecución de softmax en la capa de atención se acelera gracias a la duplicación del ancho de banda de las SFU. Las comunicaciones externas incluyen NVLink 5 (1,8 TB/s, hasta 576 GPU en un dominio) y PCIe 6.0 x16. El superchip Grace Blackwell Ultra combina el procesador Grace y dos aceleradores Blackwell Ultra, ofreciendo hasta 40 Pflop/s con dispersión y una memoria unificada de 1 TB. El sistema GB300 NVL72 integra 36 superchips para alcanzar 1,1 Eflop/s en FP4. NVIDIA señaló que prácticamente ha abandonado el desarrollo de FP64.