KI-SSDs: Ein Paradigmenwechsel bei der Speicherung für LLM-Inferenz

Der Wettbewerb in der KI-Infrastruktur verlagert sich von der reinen Anzahl an GPUs und Rechenleistung hin zu einem ganzheitlicheren Ansatz, bei dem Rechenleistung, Netzwerk, Speicher und Speichermedien pro Token zusammenarbeiten. Dies wird durch Modelle mit langen Kontexten, komplexes Reasoning und Multi-Agenten-Systeme vorangetrieben, die ein effizientes Management von KV-Cache und MoE-Expertengewichten erfordern. Zwei repräsentative Signale sind Moonshot AIs Mooncake und NVIDIAs CMX. Mooncake ist eine disaggregierte Architektur, die sich auf den KV-Cache konzentriert und ungenutzte CPU-, DRAM-, SSD- und NIC-Ressourcen in einen verteilten Cache-Pool organisiert, wodurch die effektive Request-Kapazität in Tests um 59 % bis 498 % verbessert wird. NVIDIAs CMX Context Memory Storage Platform fügt eine „G3.5“-Ebene zwischen HBM und gemeinsam genutztem Speicher hinzu und bietet PB-großen gemeinsamen Kontextspeicher innerhalb eines GPU-Pods, was möglicherweise eine bis zu 5-fache Verbesserung des anhaltenden Token-Durchsatzes und der Energieeffizienz bietet. Diese Systeme verdeutlichen, dass Inferenzzustände zu einer Schlüsselressource werden und der Speicher an Platzierung, Migration und Wiederverwendung beteiligt sein muss. Folglich entstehen KI-SSDs, die in zwei Kategorien unterteilt werden: KI-verbesserte Enterprise-SSDs (z. B. InnoGrit Dongting-N3X, Huawei OceanDisk LC 560) und an der Inferenz teilnehmende KI-SSDs. Drei bemerkenswerte Wege für letztere sind Phisons aiDAPTIV (mit dedizierten Cache-SSDs und Middleware), Longsys SPU+iSA (Nutzung speicherseitiger Intelligenz) und die schichtenübergreifende Koordination von Infplane-Maxio. Der Wettbewerb bei KI-SSDs wird letztlich um den gesamten Datenpfad gehen, was eine Zusammenarbeit über NAND-Medien, FTL, Firmware, Treiber, Middleware und Inferenz-Frameworks erfordert. KI-SSDs werden HBM, VRAM oder DRAM nicht ersetzen, sondern eine feinere Speicherhierarchie bilden, bei der Daten basierend auf der Zugriffstemperatur platziert und die Migration von Software und Hardware verwaltet wird.