AI-SSD-levyt: Tallennuksen paradigman muutos LLM-päätöksenteossa

AI-infrastruktuurikilpailu on siirtymässä raa'asta GPU-määrästä ja laskentatehosta kohti kokonaisvaltaisempaa lähestymistapaa, jossa laskenta, verkko, muisti ja tallennus toimivat yhdessä jokaista tokenia kohden. Tämän taustalla ovat pitkäkontekstiset mallit, monimutkainen päättely ja moniagenttijärjestelmät, jotka edellyttävät KV-välimuistin ja MoE-asiantuntijapainojen tehokasta hallintaa. Kaksi edustavaa signaalia ovat Moonshot AI:n Mooncake ja NVIDIA:n CMX. Mooncake on KV-välimuistikeskeinen hajautettu arkkitehtuuri, joka organisoi käyttämättömät CPU-, DRAM-, SSD- ja NIC-resurssit hajautetuksi välimuistipooliksi ja parantaa testien mukaan tehollista pyyntökapasiteettia 59–498 prosenttia. NVIDIA:n CMX Context Memory Storage Platform lisää 'G3.5'-kerroksen HBM:n ja jaetun tallennuksen väliin tarjoten petatavuluokan jaetun kontekstimuistin GPU-solmussa, mikä voi parantaa kestävää token-läpäisyä ja tehonkulutusta jopa 5-kertaisesti. Nämä järjestelmät korostavat, että inferenssitilasta on tulossa keskeinen resurssi, ja tallennuksen on osallistuttava sijoitteluun, siirtoon ja uudelleenkäyttöön. Tämän seurauksena AI-SSD-levyt ovat nousemassa esiin, ja ne jakautuvat kahteen luokkaan: tekoälytehostetut yritystason SSD-levyt (esim. InnoGrit Dongting-N3X, Huawei OceanDisk LC 560) ja inferenssiin osallistuvat AI-SSD-levyt. Jälkimmäiselle on kolme merkittävää reittiä: Phisonin aiDAPTIV (käyttää erillisiä välimuisti-SSD-levyjä ja middlewarea), Longsysin SPU+iSA (hyödyntää tallennuspuolen älykkyyttä) ja Infplane-Maxion kerrostenvälinen koordinointi. AI-SSD-kilpailussa ratkaisee lopulta koko datapolku, mikä edellyttää yhteistyötä NAND-materiaalin, FTL:n, laiteohjelmiston, ajureiden, middlewaren ja inferenssikehysten välillä. AI-SSD-levyt eivät korvaa HBM:ää, VRAM:ää tai DRAM:ää, vaan ne muodostavat hienojakoisemman tallennushierarkian, jossa data sijoitetaan käyttötiheyden perusteella ja siirtoa hallinnoidaan ohjelmiston ja laitteiston avulla.