NVIDIA Blackwell Ultra: NVFP4, 15 Petaflops and 288 GB HBM3e, but No FP64

NVIDIA đã tiết lộ chi tiết về kiến trúc Blackwell Ultra, phiên bản nâng cấp của bộ tăng tốc Blackwell. Chip này bao gồm hai tinh thể được kết nối qua giao diện NV-HBI (10 TB/s), chứa 208 tỷ bóng bán dẫn trên tiến trình TSMC 4NP và có 160 bộ đa xử lý luồng (SM) với 640 nhân tensor thế hệ thứ năm và Transformer Engine thế hệ thứ hai. Hiệu suất ở định dạng NVFP4 đạt 15 Pflop mà không cần thưa thớt. Mỗi SM bao gồm 128 nhân CUDA, 4 nhân tensor và 256 KB bộ nhớ tensor (TMEM). Định dạng NVFP4 mới sử dụng tỷ lệ vi khối FP8 và tỷ lệ FP32 ở cấp tensor, mang lại độ chính xác gần với FP8 trong khi giảm mức tiêu thụ bộ nhớ 1,8 lần so với FP8 và lên đến 3,5 lần so với FP16. Hệ thống bộ nhớ bao gồm 288 GB HBM3e với băng thông 8 TB/s. Việc thực thi softmax trong lớp attention được tăng tốc nhờ tăng gấp đôi băng thông SFU. Giao tiếp bên ngoài bao gồm NVLink 5 (1,8 TB/s, lên đến 576 GPU trong một miền) và PCIe 6.0 x16. Superchip Grace Blackwell Ultra kết hợp bộ xử lý Grace và hai bộ tăng tốc Blackwell Ultra, cung cấp tới 40 Pflop với độ thưa thớt và bộ nhớ hợp nhất 1 TB. Hệ thống GB300 NVL72 kết hợp 36 superchip để đạt 1,1 Eflop ở FP4. NVIDIA lưu ý rằng họ gần như đã từ bỏ việc phát triển FP64.