AI एसएसडी: LLM इन्फेरेंस में स्टोरेज का प्रतिमान बदलाव

AI बुनियादी ढांचे की प्रतिस्पर्धा अब सिर्फ GPU की संख्या और कंप्यूट पावर से आगे बढ़कर एक समग्र दृष्टिकोण की ओर बढ़ रही है, जिसमें कंप्यूट, नेटवर्क, मेमोरी और स्टोरेज सभी मिलकर प्रति टोकन काम करते हैं। यह लंबे-संदर्भ मॉडल, जटिल तर्क और मल्टी-एजेंट सिस्टम द्वारा प्रेरित है, जिसके लिए KV Cache और MoE एक्सपर्ट वेट्स के कुशल प्रबंधन की आवश्यकता होती है। इसके दो प्रतिनिधि संकेत हैं Moonshot AI का Mooncake और NVIDIA का CMX। Mooncake एक KV Cache-केंद्रित विघटित आर्किटेक्चर है जो निष्क्रिय CPU, DRAM, SSD और NIC संसाधनों को एक वितरित कैश पूल में व्यवस्थित करता है, जिससे परीक्षणों में प्रभावी अनुरोध क्षमता में 59% से 498% तक सुधार होता है। NVIDIA का CMX कॉन्टेक्स्ट मेमोरी स्टोरेज प्लेटफ़ॉर्म HBM और साझा स्टोरेज के बीच एक 'G3.5' परत जोड़ता है, जो GPU पॉड के भीतर पेटाबाइट-स्केल साझा कॉन्टेक्स्ट मेमोरी प्रदान करता है, और संभावित रूप से निरंतर टोकन थ्रूपुट और पावर दक्षता में 5x तक सुधार ला सकता है। ये सिस्टम उजागर करते हैं कि इन्फ्रेंस स्टेट एक प्रमुख संसाधन बनता जा रहा है, और स्टोरेज को प्लेसमेंट, माइग्रेशन और पुन: उपयोग में भाग लेना चाहिए। परिणामस्वरूप, AI SSD उभर रहे हैं, जिनकी दो श्रेणियाँ हैं: AI-संवर्धित एंटरप्राइज़ SSD (जैसे InnoGrit Dongting-N3X, Huawei OceanDisk LC 560) और इन्फ्रेंस-भाग लेने वाले AI SSD। बाद वाले के लिए तीन उल्लेखनीय मार्ग हैं Phison का aiDAPTIV (समर्पित कैश SSD और मिडलवेयर का उपयोग करते हुए), Longsys का SPU+iSA (स्टोरेज-साइड इंटेलिजेंस का लाभ उठाते हुए), और Infplane-Maxio का क्रॉस-लेयर समन्वय। AI SSD में प्रतिस्पर्धा अंततः पूरे डेटा पाथ के बारे में होगी, जिसके लिए NAND मीडिया, FTL, फर्मवेयर, ड्राइवर, मिडलवेयर और इन्फ्रेंस फ्रेमवर्क में सहयोग की आवश्यकता होगी। AI SSD HBM, VRAM या DRAM की जगह नहीं लेंगे, बल्कि एक बेहतर स्टोरेज पदानुक्रम बनाएंगे, जिसमें डेटा को एक्सेस टेंपरेचर के आधार पर रखा जाएगा और माइग्रेशन का प्रबंधन सॉफ्टवेयर और हार्डवेयर द्वारा किया जाएगा।