NVIDIA Blackwell Ultra：15 Pflops NVFP4、288 GB HBM3e、FP64なし

NVIDIAは、Blackwellアーキテクチャの強化版であるBlackwell Ultraアクセラレータの詳細を発表した。チップはTSMC 4NPプロセスで208億トランジスタを搭載した2つのダイで構成され、NV-HBIを介して10 TB/sの帯域幅で接続される。160基のストリーミングマルチプロセッサと640基の第5世代Tensor Coreを備え、NVFP4（スパースなし）で15 Pフロップスを実現し、統合L2キャッシュを搭載する。各SMは128個のCUDAコア、第2世代Transformer Engineを搭載した4個のTensor Core、256 KBのTensor Memory（TMEM）、および特殊関数ユニットを含む。新しいNVFP4フォーマットは、マイクロブロックFP8スケーリングとテンソルレベルFP32スケーリングを採用し、FP8に近い精度をメモリ1.8倍削減で実現する。Blackwell Ultraは、SFUのスループットを2倍にしてソフトマックス処理を高速化し、アテンション層のパフォーマンスを向上させ、最初のトークンまでの時間を短縮する。メモリは288 GBのHBM3e（帯域幅8 TB/s）で、Blackwellから50%増加し、3000億以上のパラメータを持つ大規模モデルに対応する。外部接続はNVLink 5（1.8 TB/s）とPCIe 6.0 x16を含む。Grace Blackwell Ultraスーパーチップは、1基のGrace CPUと2基のBlackwell Ultraを組み合わせ、スパース利用で最大40 PフロップスのNVFP4と1 TBの統合メモリを提供する。GB300 NVL72ラックシステムは、36基のスーパーチップを統合し、1.1エクサフロップスのFP4を実現する。