AI-SSD's: een paradigmaverandering in opslag voor LLM-inferentie

De concurrentie op het gebied van AI-infrastructuur verschuift van het aantal GPU's en ruwe rekenkracht naar een meer holistische benadering, waarbij rekenkracht, netwerk, geheugen en opslag per token samenwerken. Dit wordt gedreven door modellen met lange context, complexe redeneringen en multi-agentsystemen, die een efficiënt beheer van KV-cache en MoE-expertgewichten vereisen. Twee representatieve signalen hiervan zijn Mooncake van Moonshot AI en CMX van NVIDIA. Mooncake is een gedisaggregeerde architectuur die zich richt op KV-cache en die ongebruikte CPU-, DRAM-, SSD- en NIC-bronnen organiseert in een gedistribueerde cachepool, wat in tests leidt tot een verbetering van de effectieve verzoekcapaciteit van 59% tot 498%. CMX, het Context Memory Storage Platform van NVIDIA, voegt een 'G3.5'-laag toe tussen HBM en gedeelde opslag, en biedt contextgeheugen op petabyteschaal binnen een GPU-pod, met mogelijk tot vijf keer betere aanhoudende token-doorvoer en energie-efficiëntie. Deze systemen laten zien dat inferentiestatus een belangrijke bron wordt en dat opslag moet deelnemen aan plaatsing, migratie en hergebruik. Daarom ontstaan er AI-SSD's, in twee categorieën: AI-verbeterde enterprise-SSD's (bijvoorbeeld Dongting-N3X van InnoGrit en OceanDisk LC 560 van Huawei) en AI-SSD's die deelnemen aan inferentie. Drie opvallende routes voor de laatste categorie zijn aiDAPTIV van Phison (met speciale cache-SSD's en middleware), SPU+iSA van Longsys (die gebruikmaakt van opslagzijde-intelligentie) en de cross-layer coördinatie van Infplane-Maxio. De concurrentie op het gebied van AI-SSD's zal uiteindelijk gaan over het volledige datapad, waarbij samenwerking nodig is tussen NAND-media, FTL, firmware, stuurprogramma's, middleware en inferentieframeworks. AI-SSD's zullen HBM, VRAM of DRAM niet vervangen, maar vormen een fijnmazigere opslaghiërarchie, waarbij gegevens worden geplaatst op basis van toegangstemperatuur en migratie wordt beheerd door software en hardware.