NVIDIA Blackwell Ultra: 15 Pflops NVFP4, 288 Gt HBM3e, ei FP64

NVIDIA esitteli Blackwell Ultra -kiihdyttimen, joka on Blackwell-arkkitehtuurin paranneltu versio. Siru koostuu kahdesta piistä, joissa on yhteensä 208 miljardia transistoria TSMC:n 4NP-prosessilla, ja ne on yhdistetty NV-HBI-väylällä, jonka kaistanleveys on 10 TB/s. Se sisältää 160 streaming-multiprosessoria, joissa on 640 viidennen sukupolven Tensor Corea, jotka tuottavat 15 Pflopsia NVFP4-muodossa (ilman harvuutta), sekä yhtenäisen L2-välimuistin. Jokaisessa SM:ssä on 128 CUDA-ydintä, 4 Tensor Corea toisen sukupolven Transformer Engine -moottorilla, 256 kilotavua Tensor Memoryä (TMEM) ja erikoisfunktioyksiköitä. Uusi NVFP4-muoto käyttää mikro-lohkon FP8-skaalausta ja tensoritason FP32-skaalausta, saavuttaen tarkkuuden, joka on lähellä FP8:aa, mutta käyttäen 1,8 kertaa vähemmän muistia. Blackwell Ultra parantaa huomiotason suorituskykyä kaksinkertaistamalla SFU:n läpäisyn softmax-toiminnolle, mikä vähentää aikaa ensimmäiseen tokeniin. Muistia on 288 gigatavua HBM3e-muistia (8 TB/s kaistanleveys), mikä on 50 prosenttia enemmän kuin Blackwellissa, mahdollistaen suuret mallit, joissa on yli 300 miljardia parametria. Ulkoinen liitäntä sisältää NVLink 5:n (1,8 TB/s) ja PCIe 6.0 x16:n. Grace Blackwell Ultra -superpiiri yhdistää yhden Grace-suorittimen kahteen Blackwell Ultraan, tarjoten jopa 40 Pflopsia NVFP4-muodossa harvuudella ja yhden teratavun yhtenäistä muistia. GB300 NVL72 -telinejärjestelmä yhdistää 36 superpiiriä, tuottaen 1,1 eksaflopsia FP4-muodossa.