HBM पर्याप्त नहीं, AI SSD विस्फोटक विकास के लिए तैयार

बड़े भाषा मॉडल (Large Language Model) इनफरेंस अभी दो दीवारों से टकरा रहा है: क्षमता (कैपेसिटी) और इनपुट-आउटपुट (I/O)। मॉडल पैरामीटर लगातार बढ़ते जा रहे हैं, जबकि लंबे कॉन्टेक्स्ट, मल्टी-टर्न डायलॉग और एजेंट टास्क KV Cache को फुला देते हैं; MoE मॉडल हर गणना में सक्रिय पैरामीटरों को कम कर देते हैं, लेकिन उन्हें एक्सपर्ट वेट्स को स्टोर करने की जरूरत होती है जो VRAM या DRAM की क्षमता से कहीं अधिक होते हैं। क्लाउड डेटा सेंटरों में महंगी HBM वेट्स और KV Cache द्वारा घेर ली जाती है, जिससे GPU उपयोग सीमित होता है; एज और डिवाइस पर सीमित DRAM या यूनिफाइड मेमोरी मॉडल के आकार को बांध देती है। जब मेमोरी अकेले इनफरेंस लोड संभालने में असमर्थ होने लगी है, तो SSD रीयल-टाइम इनफरेंस डेटा पथ में प्रवेश कर रहे हैं और HBM, VRAM व DRAM के बाद एक औपचारिक स्टोरेज टियर बन रहे हैं। यह बदलाव इनफरेंस इंफ्रास्ट्रक्चर में साफ दिखता है: Moonshot AI के Mooncake में KV Cache-केंद्रित असंबद्ध (disaggregated) आर्किटेक्चर है, जो CPU, DRAM और SSD को डिस्ट्रिब्यूटेड कैश के रूप में पूल करता है, और Mooncake Store DRAM व SSD/NVMe के साथ मल्टी-लेवल कैशिंग का समर्थन करता है; 2026 में NVIDIA ने Vera Rubin इंफ्रास्ट्रक्चर में CMX नामक कॉन्टेक्स्ट मेमोरी स्टोरेज प्लेटफॉर्म पेश किया, जिसमें KV Cache के लिए ईथरनेट-कनेक्टेड फ्लैश टियर जोड़ा गया है, और BlueField-4 NVMe SSD का प्रबंधन करता है। हालांकि, पारंपरिक SSD लगातार चलने वाले इनफरेंस टास्क के लिए उपयुक्त नहीं हैं: ये फाइल और ब्लॉक स्टोरेज के लिए डिज़ाइन किए गए हैं, जिनका फोकस सीक्वेंशियल बैंडविड्थ, रैंडम IOPS (इनपुट-आउटपुट ऑपरेशंस पर सेकंड) और रिलायबिलिटी पर होता है, जबकि LLM इनफरेंस को सख्त टाइमिंग बाधाओं के साथ डेटा सप्लाई की जरूरत होती है। KV Cache को प्रीफिल में लिखा जाता है और बार-बार पढ़ा जाता है; MoE को हर लेयर की गणना से पहले विशिष्ट एक्सपर्ट वेट्स चाहिए होते हैं; एक भी छूटा हुआ रीड GPU, NPU या CPU को रोक सकता है। हाई क्यू डेप्थ पर पीक IOPS, लो क्यू डेप्थ और फाइन-ग्रेन्ड एक्सेस के लिए स्थिर लेटेंसी के बराबर नहीं होते। NAND Flash पेज के हिसाब से पढ़ता है और ब्लॉक के हिसाब से मिटाता है, जिससे FTL (फ्लैश ट्रांसलेशन लेयर) राइट एम्प्लिफिकेशन और टेल लेटेंसी पैदा करता है; लगातार KV Cache राइट्स फ्लैश की एन्ड्यूरेंस पर दबाव डालते हैं। पारंपरिक LBA (लॉजिकल ब्लॉक एड्रेसिंग) लेआउट लेयर्स, एक्सपर्ट्स और KV ब्लॉक्स के बीच सिमेंटिक संबंधों को नजरअंदाज करता है, जिससे संबंधित डेटा बिखर जाता है और पूर्वानुमानित पैरेलल रीड्स संभव नहीं रह पाते। फाइल सिस्टम, ब्लॉक डिवाइस और NVMe सॉफ्टवेयर स्टैक अतिरिक्त लेटेंसी जोड़ते हैं। मॉडल एग्जीक्यूशन क्रम के अनुरूप एड्रेस लेआउट, कैश विभाजन, प्रायोरिटी शेड्यूलिंग, एसिंक प्रीफेच और लाइफस्पैन मैनेजमेंट के बिना, SSD टोकन जनरेशन में DRAM या VRAM जैसी स्थिरता से भाग नहीं ले सकते। बाजार में दो तरह के 'AI SSD' दिख रहे हैं: पहला, AI-लोड-एन्हांस्ड एंटरप्राइज़ SSD, जैसे InnoGrit की Dongting N3X सीरीज़, जो XL-Flash और SLC NAND का उपयोग करके कम लेटेंसी और उच्च एन्ड्यूरेंस देती है, और KV Cache ऑफलोड व उच्च-कंकरेंसी टेम्प डेटा को टारगेट करती है, जिसका दावा है कि यह TLC SSD की तुलना में एक-तिहाई लेटेंसी, तीन गुना राइट थ्रूपुट, और 17-33 गुना DWPD (डे राइट्स पर डे) प्रदान करती है; Huawei की OceanDisk सीरीज़ में EX 560 उच्च रैंडम राइट परफॉर्मेंस के लिए, SP 560 संतुलित परफॉर्मेंस के लिए, और LC 560 245TB तक क्षमता के साथ ट्रेनिंग डेटा व वेक्टर डेटाबेस के लिए है, जिसमें DiskBooster ड्राइवर सॉफ्टवेयर HBM और DDR के साथ टियरिंग सक्षम करता है। दूसरा, इनफरेंस-भागीदार AI SSD, जिनका उद्देश्य SSD के ऑपरेशन लॉजिक को बदलना है, कंट्रोलर, फर्मवेयर और मिडलवेयर के माध्यम से NAND और DRAM/VRAM के बीच एक वर्चुअलाइज्ड हायरार्की बनाना है। Phison का aiDAPTIV एक कैश SSD और मिडलवेयर का उपयोग करके मॉडल वेट्स को VRAM और SSD के बीच स्ट्रीम करता है, जो बिना अतिरिक्त GPU जोड़े मॉडल आकार को बढ़ाता है, KV Cache को पुनःउपयोग के लिए संरक्षित रखता है, और इसकी एन्ड्यूरेंस 100 DWPD तक जाती है। Longsys के WM8500 SPU में कम्प्रेशन, कैशिंग और डेटा शेड्यूलिंग एकीकृत हैं, जबकि iSA सॉफ्टवेयर टियरिंग और प्रीफेच के फैसले लेता है, और यह 5nm प्रोसेस, लॉसलेस कम्प्रेशन, HLC (हाई-लेवल सेल) और हाइब्रिड NAND शेड्यूलिंग का उपयोग करता है। Maxio-Infplane गठबंधन (Maxio Tech और Infplane) Infplane की इनफरेंस चिप तकनीकों जैसे मल्टी-लेवल कैशिंग और प्रीफेच को Maxio की NAND व SSD कंट्रोलर विशेषज्ञता के साथ जोड़ता है, जो MoE एक्सपर्ट्स, KV Cache और न्यूमेरिकल प्रेसिजन को टारगेट करता है, तथा मॉडल फाइलों या फ्रेमवर्क में बदलाव किए बिना संगतता का लक्ष्य रखता है, और AI PC, वर्कस्टेशन तथा एज डिवाइसों में सत्यापन का दायरा बढ़ा रहा है। ये रास्ते तकनीकी दायरे में भिन्न हैं—कुछ केवल I/O को बेहतर बनाते हैं, तो कुछ रनटाइम शेड्यूलिंग में भी हिस्सा लेते हैं। उद्योग में प्रतिस्पर्धा अभी शुरू ही हुई है, सत्यापित उत्पाद और कमर्शियलाइज़ेशन के प्रयास सामने आ रहे हैं, और भविष्य में शायद HBM, VRAM या DRAM का प्रतिस्थापन न हो, बल्कि क्षमता, परफॉर्मेंस और लागत की पुनर्संरचना (री-टियरिंग) हो, जिससे SSD टोकन इकॉनॉमिक्स में एक महत्वपूर्ण चर बन जाए।