NVIDIA Blackwell Ultra: 15 Pflops NVFP4, 288 GB HBM3e, sem FP64

A NVIDIA detalhou o acelerador Blackwell Ultra, uma versão aprimorada da arquitetura Blackwell. O chip é composto por dois dies com 208 bilhões de transistores no processo TSMC 4NP, conectados via NV-HBI com largura de banda de 10 TB/s. Inclui 160 multiprocessadores de fluxo com 640 núcleos Tensor de quinta geração que entregam 15 Pflops em NVFP4 (sem esparsidade) e um cache L2 unificado. Cada SM possui 128 núcleos CUDA, 4 núcleos Tensor com motor Transformer de segunda geração, 256 KB de memória Tensor (TMEM) e unidades de função especial. O novo formato NVFP4 usa escalonamento micro-bloco FP8 e escalonamento tensorial FP32, alcançando precisão próxima ao FP8 com 1,8x menos memória. O Blackwell Ultra melhora o desempenho da camada de atenção ao dobrar a taxa de transferência da SFU para softmax, reduzindo o tempo até o primeiro token. A memória é de 288 GB HBM3e (largura de banda de 8 TB/s), um aumento de 50% em relação ao Blackwell, permitindo modelos grandes com mais de 300 bilhões de parâmetros. A conectividade externa inclui NVLink 5 (1,8 TB/s) e PCIe 6.0 x16. O superchip Grace Blackwell Ultra combina uma CPU Grace com dois Blackwell Ultras, oferecendo até 40 Pflops NVFP4 com esparsidade e 1 TB de memória unificada. O sistema rack GB300 NVL72 integra 36 superchips para 1,1 Exaflops FP4.