HBM Belum Cukup, AI SSD Siap Tumbuh Eksplosif

Inferensi model bahasa besar sedang menghadapi dua kendala: kapasitas dan I/O. Parameter model terus bertambah, sementara konteks panjang, dialog multi-giliran, dan tugas agen menggelembungkan KV Cache; model MoE mengurangi parameter aktif per komputasi tetapi membutuhkan penyimpanan bobot ahli yang jauh melebihi kapasitas VRAM atau DRAM. Di pusat data cloud, HBM yang mahal ditempati oleh bobot dan KV Cache, membatasi pemanfaatan GPU; di perangkat edge dan perangkat, DRAM atau memori terpadu yang terbatas membatasi ukuran model. Karena memori kesulitan menangani beban inferensi sendirian, SSD mulai memasuki jalur data inferensi real-time, menjadi tier penyimpanan formal setelah HBM, VRAM, dan DRAM. Pergeseran ini terlihat dalam infrastruktur inferensi: Mooncake milik Moonshot AI menggunakan arsitektur terdisagregasi yang berpusat pada KV Cache, mengumpulkan CPU, DRAM, dan SSD sebagai cache terdistribusi, dengan Mooncake Store mendukung cache bertingkat dengan DRAM dan SSD/NVMe; pada tahun 2026, NVIDIA memperkenalkan platform penyimpanan konteks CMX dalam infrastruktur Vera Rubin, menambahkan tier flash yang terhubung Ethernet untuk KV Cache, dengan BlueField-4 mengelola SSD NVMe. Namun, SSD tradisional tidak cocok untuk tugas inferensi persisten: mereka dirancang untuk penyimpanan file dan blok, berfokus pada bandwidth sekuensial, IOPS acak, dan keandalan, sementara inferensi LLM membutuhkan pasokan data dengan batasan waktu yang ketat. KV Cache ditulis dalam prefill dan dibaca berulang kali; MoE membutuhkan bobot ahli tertentu sebelum setiap komputasi lapisan; satu pembacaan yang terlewat dapat menghentikan GPU, NPU, atau CPU. IOPS puncak pada kedalaman antrian tinggi tidak sama dengan latensi stabil untuk akses berbutir halus dengan kedalaman antrian rendah. NAND Flash membaca per halaman dan menghapus per blok, dengan FTL menyebabkan amplifikasi tulis dan latensi ekor; penulisan KV Cache yang terus menerus membebani daya tahan flash. Tata letak LBA tradisional mengabaikan hubungan semantik antara lapisan, ahli, dan blok KV, menyebarkan data terkait dan mencegah pembacaan paralel yang dapat diprediksi. Sistem file, perangkat blok, dan tumpukan perangkat lunak NVMe menambahkan latensi. Tanpa tata letak alamat, partisi cache, penjadwalan prioritas, prefetch asinkron, dan manajemen masa pakai yang berorientasi pada urutan eksekusi model, SSD tidak dapat berpartisipasi secara stabil dalam generasi token seperti DRAM atau VRAM. Pasar memiliki dua jenis 'AI SSD': pertama, SSD perusahaan yang ditingkatkan untuk beban AI, seperti seri Dongting N3X dari InnoGrit, menggunakan XL-Flash dan SLC NAND untuk latensi rendah dan daya tahan tinggi, menargetkan offload KV Cache dan data sementara konkurensi tinggi, mengklaim latensi sepertiga, throughput tulis tiga kali lipat, dan DWPD 17-33x vs SSD TLC; seri OceanDisk dari Huawei mencakup EX 560 untuk kinerja tulis acak tinggi, SP 560 untuk kinerja seimbang, dan LC 560 dengan kapasitas hingga 245TB untuk data pelatihan dan basis data vektor, dengan perangkat lunak driver DiskBooster yang memungkinkan tiering dengan HBM dan DDR. Kedua, SSD AI yang berpartisipasi dalam inferensi bertujuan untuk mengubah logika operasi SSD, menciptakan hierarki NAND dan DRAM/VRAM yang divirtualisasikan melalui pengontrol, firmware, dan middleware. aiDAPTIV dari Phison menggunakan SSD cache dan middleware untuk mengalirkan bobot model antara VRAM dan SSD, memperluas ukuran model tanpa menambah GPU, mempertahankan KV Cache untuk digunakan kembali, dengan daya tahan hingga 100 DWPD. WM8500 SPU dari Longsys mengintegrasikan kompresi, caching, dan penjadwalan data, dengan perangkat lunak iSA yang membuat keputusan tiering dan prefetch, menggunakan proses 5nm, kompresi lossless, HLC, dan penjadwalan NAND hibrida. Aliansi Maxio-Infplane (Maxio Tech dan Infplane) menggabungkan teknologi chip inferensi Infplane seperti multi-level caching dan prefetch dengan keahlian NAND dan pengontrol SSD Maxio, menargetkan ahli MoE, KV Cache, dan presisi numerik, bertujuan untuk kompatibilitas tanpa memodifikasi file model atau kerangka kerja, memperluas verifikasi di PC AI, workstation, dan perangkat edge. Rute-rute ini berbeda dalam cakupan teknis, beberapa meningkatkan I/O dan yang lain berpartisipasi dalam penjadwalan runtime. Persaingan industri baru saja dimulai, dengan produk yang tervalidasi dan upaya komersialisasi, dan masa depan mungkin tidak menggantikan HBM, VRAM, atau DRAM tetapi menata ulang kapasitas, kinerja, dan biaya, menjadikan SSD variabel kunci dalam ekonomi token.