SSD AI: Pergeseran Paradigma Penyimpanan dalam Inferensi LLM

Persaingan infrastruktur AI bergeser dari jumlah GPU mentah dan daya komputasi ke pendekatan yang lebih holistik di mana komputasi, jaringan, memori, dan penyimpanan bekerja sama per token. Hal ini didorong oleh model konteks panjang, penalaran kompleks, dan sistem multi-agen, yang membutuhkan manajemen efisien atas KV Cache dan bobot pakar MoE. Dua sinyal representatif adalah Mooncake dari Moonshot AI dan CMX dari NVIDIA. Mooncake adalah arsitektur terdisagregasi yang berpusat pada KV Cache yang mengorganisir sumber daya CPU, DRAM, SSD, dan NIC yang idle ke dalam kumpulan cache terdistribusi, meningkatkan kapasitas permintaan efektif sebesar 59% hingga 498% dalam pengujian. CMX Context Memory Storage Platform dari NVIDIA menambahkan lapisan 'G3.5' antara HBM dan penyimpanan bersama, menyediakan memori konteks bersama skala PB di dalam pod GPU, yang berpotensi memberikan peningkatan hingga 5 kali lipat dalam throughput token berkelanjutan dan efisiensi daya. Sistem-sistem ini menyoroti bahwa status inferensi menjadi sumber daya kunci, dan penyimpanan harus berpartisipasi dalam penempatan, migrasi, dan penggunaan ulang. Akibatnya, SSD AI mulai bermunculan, dengan dua kategori: SSD enterprise yang ditingkatkan AI (misalnya, InnoGrit Dongting-N3X, Huawei OceanDisk LC 560) dan SSD AI yang berpartisipasi dalam inferensi. Tiga jalur terkenal untuk yang terakhir adalah aiDAPTIV dari Phison (menggunakan SSD cache khusus dan middleware), SPU+iSA dari Longsys (memanfaatkan kecerdasan sisi penyimpanan), dan koordinasi lintas lapisan dari Infplane-Maxio. Persaingan dalam SSD AI pada akhirnya akan berkisar pada jalur data lengkap, yang membutuhkan kolaborasi di seluruh media NAND, FTL, firmware, driver, middleware, dan kerangka kerja inferensi. SSD AI tidak akan menggantikan HBM, VRAM, atau DRAM, tetapi akan membentuk hierarki penyimpanan yang lebih halus, dengan data ditempatkan berdasarkan suhu akses dan migrasi dikelola oleh perangkat lunak dan perangkat keras.