NVIDIA Blackwell Ultra: 15 Pflops NVFP4, 288 GB HBM3e, không có FP64

NVIDIA đã công bố chi tiết về Blackwell Ultra, phiên bản nâng cấp của kiến trúc Blackwell. Chip này bao gồm hai khuôn (die) với 208 tỷ bóng bán dẫn trên quy trình TSMC 4NP, được kết nối qua NV-HBI với băng thông 10 TB/s. Nó có 160 bộ xử lý đa luồng (streaming multiprocessor) với 640 lõi Tensor thế hệ thứ năm, đạt 15 Pflops ở định dạng NVFP4 (không có độ thưa) và một bộ nhớ đệm L2 thống nhất. Mỗi SM có 128 lõi CUDA, 4 lõi Tensor với Công cụ Transformer thế hệ thứ hai, 256 KB Bộ nhớ Tensor (TMEM) và các đơn vị chức năng đặc biệt. Định dạng NVFP4 mới sử dụng tỷ lệ vi khối FP8 và tỷ lệ cấp tensor FP32, đạt độ chính xác gần bằng FP8 với bộ nhớ giảm 1,8 lần. Blackwell Ultra tăng hiệu năng lớp attention bằng cách tăng gấp đôi thông lượng SFU cho softmax, giúp giảm thời gian đến token đầu tiên. Bộ nhớ là 288 GB HBM3e (băng thông 8 TB/s), tăng 50% so với Blackwell, cho phép các mô hình lớn với hơn 300 tỷ tham số. Kết nối ngoài bao gồm NVLink 5 (1,8 TB/s) và PCIe 6.0 x16. Siêu chip Grace Blackwell Ultra kết hợp một CPU Grace với hai Blackwell Ultra, cung cấp tới 40 Pflops NVFP4 với độ thưa và 1 TB bộ nhớ thống nhất. Hệ thống rack GB300 NVL72 tích hợp 36 siêu chip để đạt 1,1 Exaflops FP4.