NVIDIA Blackwell Ultra: 15 Pflops NVFP4, 288 GB HBM3e, FP64 नहीं

एनवीडिया ने ब्लैकवेल अल्ट्रा एक्सेलेरेटर का विवरण दिया, जो ब्लैकवेल आर्किटेक्चर का एक उन्नत संस्करण है। चिप में दो डाई हैं जिनमें TSMC 4NP प्रक्रिया पर 208 बिलियन ट्रांजिस्टर हैं, जो 10 TB/s बैंडविड्थ के साथ NV-HBI के माध्यम से जुड़े हैं। इसमें 160 स्ट्रीमिंग मल्टीप्रोसेसर शामिल हैं जिनमें 640 पाँचवीं पीढ़ी के टेन्सर कोर हैं जो NVFP4 में 15 Pflops (स्पार्सिटी के बिना) और एक यूनिफाइड L2 कैश प्रदान करते हैं। प्रत्येक SM में 128 CUDA कोर, दूसरी पीढ़ी के ट्रांसफॉर्मर इंजन के साथ 4 टेन्सर कोर, 256 KB टेन्सर मेमोरी (TMEM), और विशेष फ़ंक्शन यूनिट हैं। नया NVFP4 फ़ॉर्मेट माइक्रो-ब्लॉक FP8 स्केलिंग और टेन्सर-स्तरीय FP32 स्केलिंग का उपयोग करता है, जो 1.8 गुना कम मेमोरी के साथ FP8 के करीब सटीकता प्राप्त करता है। ब्लैकवेल अल्ट्रा सॉफ्टमैक्स के लिए SFU थ्रूपुट को दोगुना करके अटेंशन लेयर प्रदर्शन को बढ़ाता है, जिससे पहले टोकन का समय कम हो जाता है। मेमोरी 288 GB HBM3e (8 TB/s बैंडविड्थ) है, जो ब्लैकवेल से 50% अधिक है, जो 300+ बिलियन पैरामीटर वाले बड़े मॉडलों को सक्षम बनाती है। बाहरी कनेक्टिविटी में NVLink 5 (1.8 TB/s) और PCIe 6.0 x16 शामिल हैं। ग्रेस ब्लैकवेल अल्ट्रा सुपरचिप एक ग्रेस CPU को दो ब्लैकवेल अल्ट्रा के साथ जोड़ता है, जो स्पार्सिटी के साथ 40 Pflops NVFP4 और 1 TB यूनिफाइड मेमोरी प्रदान करता है। GB300 NVL72 रैक सिस्टम 36 सुपरचिप्स को 1.1 एक्साफ्लॉप्स FP4 के लिए एकीकृत करता है।