HBM ei riitä, tekoäly-SSD:t valmiina räjähdysmäiseen kasvuun

Suurten kielimallien päättely osuu kahteen seinään: kapasiteettiin ja I/O:hon. Malliparametrit kasvavat jatkuvasti, kun taas pitkät kontekstit, usean vuoropuhelun keskustelut ja agenttitehtävät paisuttavat KV-välimuistia; MoE-mallit vähentävät aktiivisia parametreja laskentaa kohti, mutta vaativat asiantuntijapainojen tallentamista, jotka ylittävät selvästi VRAM- tai DRAM-kapasiteetin. Pilvikeskuksissa kallis HBM on varattu painoille ja KV-välimuistille, mikä rajoittaa GPU:n käyttöastetta; reunalla ja laitteissa rajallinen DRAM tai yhtenäinen muisti rajoittaa mallin kokoa. Kun muisti ei yksinään pysty hoitamaan päättelyn kuormitusta, SSD-levyt siirtyvät reaaliaikaisen päättelyn datapolkuun, ja niistä tulee virallinen tallennustaso HBM:n, VRAM:n ja DRAM:n jälkeen. Tämä muutos näkyy päättelyinfrastruktuurissa: Moonshot AI:n Mooncake käyttää KV-välimuistikeskeistä hajautettua arkkitehtuuria, joka yhdistää CPU:n, DRAM:n ja SSD:n hajautetuksi välimuistiksi, ja Mooncake Store tukee monitasoista välimuistia DRAM:lla ja SSD/NVMe:llä; vuonna 2026 NVIDIA esitteli CMX-kontekstimuistialustan Vera Rubin -infrastruktuurissa lisäten Ethernetiin kytketyn flash-tason KV-välimuistille, ja BlueField-4 hallinnoi NVMe SSD -levyjä. Perinteiset SSD-levyt eivät kuitenkaan sovellu jatkuviin päättelytehtäviin: ne on suunniteltu tiedosto- ja lohkotallennukseen, keskittyen peräkkäiseen kaistanleveyteen, satunnaiseen IOPS:ään ja luotettavuuteen, kun taas LLM-päättely vaatii datasovitusta tiukoin ajoitusrajoittein. KV-välimuisti kirjoitetaan esitäytössä ja luetaan toistuvasti; MoE tarvitsee tietyt asiantuntijapainot ennen jokaista kerroksen laskentaa; yksi ohitettu luku voi pysäyttää GPU:n, NPU:n tai CPU:n. Huippu-IOPS korkeilla jonosyvyyksillä ei vastaa vakaata viivettä matalan jonosyvyyden hienojakoisessa käytössä. NAND-flash lukee sivuja ja poistaa lohkoja, ja FTL aiheuttaa kirjoitusvahvistusta ja häntäviivettä; jatkuva KV-välimuistin kirjoitus rasittaa flashin kestävyyttä. Perinteinen LBA-rakenne ei huomioi kerrosten, asiantuntijoiden ja KV-lohkojen välisiä semanttisia suhteita, hajottaen liittyvät tiedot ja estäen ennustettavat rinnakkaiset luvut. Tiedostojärjestelmät, lohkolaitteet ja NVMe-ohjelmistopino lisäävät viivettä. Ilman osoiterakennetta, välimuistin osiointia, prioriteettiaikataulua, asynkronista esihakua ja elinkaarenhallintaa, jotka on suunnattu mallin suoritusjärjestykseen, SSD:t eivät voi osallistua vakaasti tokenien tuottamiseen kuten DRAM tai VRAM. Markkinoilla on kahdenlaisia 'AI SSD' -levyjä: ensinnäkin AI-kuormitusta parannetut yritys-SSD:t, kuten InnoGritin Dongting N3X -sarja, joka käyttää XL-Flashia ja SLC NAND:ia matalan viiveen ja korkean kestävyyden saavuttamiseksi, kohdistuen KV-välimuistin siirtoon ja suuren samanaikaisuuden väliaikaiseen dataan, väittäen kolmanneksen viiveestä, kolminkertaisen kirjoitusläpäisyn ja 17-33x DWPD:n verrattuna TLC-SSD:ihin; Huawein OceanDisk-sarja sisältää EX 560:n korkeaa satunnaista kirjoitussuorituskykyä varten, SP 560:n tasapainoiseen suorituskykyyn ja LC 560:n, jonka kapasiteetti on jopa 245 TB harjoitusdatalle ja vektoritietokannoille, ja DiskBooster-ajuriohjelmisto mahdollistaa tasojen käytön HBM:n ja DDR:n kanssa. Toiseksi päättelyyn osallistuvat AI-SSD:t pyrkivät muuttamaan SSD:n toimintalogiikkaa, luoden virtualisoidun NAND- ja DRAM/VRAM-hierarkian ohjaimen, laiteohjelmiston ja middlewaren avulla. Phisonin aiDAPTIV käyttää välimuisti-SSD:tä ja middlewarea siirtämään mallipainot VRAM:n ja SSD:n välillä, laajentaen mallin kokoa lisäämättä GPU:ita, säilyttäen KV-välimuistin uudelleenkäytettäväksi, ja kestävyys on jopa 100 DWPD. Longsysin WM8500 SPU integroi pakkauksen, välimuistin ja datan ajoituksen, ja iSA-ohjelmisto tekee tasoitus- ja esihakupäätökset käyttäen 5nm-prosessia, häviötöntä pakkausta, HLC:tä ja hybridi-NAND-ajoitusta. Maxio-Infplane-allianssi (Maxio Tech ja Infplane) yhdistää Infplanen päättelypiirisiruteknologiat, kuten monitasoisen välimuistin ja esihaun, Maxion NAND- ja SSD-ohjainasiantuntemukseen, kohdistuen MoE-asiantuntijoihin, KV-välimuistiin ja numeeriseen tarkkuuteen, pyrkien yhteensopivuuteen muuttamatta mallitiedostoja tai kehyksiä, laajentaen vahvistusta AI-PC:ihin, työasemiin ja reunalaitteisiin. Nämä reitit eroavat tekniseltä laajuudeltaan, jotkut parantavat I/O:ta ja toiset osallistuvat reaaliaikaiseen ajoitukseen. Toimialan kilpailu on vasta alussa, ja validoidut tuotteet ja kaupallistamisyritykset ovat käynnissä, ja tulevaisuus ei välttämättä korvaa HBM:ää, VRAM:ia tai DRAM:ia, vaan järjestää kapasiteetin, suorituskyvyn ja kustannukset uudelleen, tehden SSD:stä keskeisen muuttujan token-taloudessa.