NVIDIA Blackwell Ultra: 15 Pflops NVFP4, 288 GB HBM3e, FP64 없음

NVIDIA가 Blackwell 아키텍처의 개선 버전인 Blackwell Ultra 가속기를 상세히 공개했습니다. 이 칩은 TSMC 4NP 공정에서 2080억 개의 트랜지스터를 가진 두 개의 다이로 구성되며, 10TB/s 대역폭의 NV-HBI로 연결됩니다. 160개의 스트리밍 멀티프로세서(SM)에 640개의 5세대 텐서 코어가 포함되어 NVFP4(희소성 없는 기준)로 15페타플롭스(Pflops)를 제공하며, 통합 L2 캐시를 갖췄습니다. 각 SM은 128개의 CUDA 코어, 2세대 트랜스포머 엔진을 탑재한 4개의 텐서 코어, 256KB의 텐서 메모리(TMEM), 그리고 특수 함수 유닛을 포함합니다. 새로운 NVFP4 형식은 마이크로블록 FP8 스케일링과 텐서 수준의 FP32 스케일링을 사용하여 FP8에 가까운 정확도를 메모리 1.8배 절감으로 달성합니다. Blackwell Ultra는 소프트맥스(softmax)를 위한 SFU 처리량을 두 배로 늘려 어텐션 레이어 성능을 향상시키며, 첫 토큰 생성 시간을 단축합니다. 메모리는 288GB HBM3e(8TB/s 대역폭)로, Blackwell 대비 50% 증가하여 3000억 개 이상의 파라미터를 가진 대규모 모델을 지원합니다. 외부 연결은 NVLink 5(1.8TB/s)와 PCIe 6.0 x16을 포함합니다. Grace Blackwell Ultra 슈퍼칩은 하나의 Grace CPU와 두 개의 Blackwell Ultra를 결합하여 희소성을 적용한 NVFP4 기준 최대 40Pflops와 1TB 통합 메모리를 제공합니다. GB300 NVL72 랙 시스템은 36개의 슈퍼칩을 통합하여 1.1엑사플롭스(Exaflops) FP4 성능을 구현합니다.