HBMだけでは不十分、AI SSDが爆発的成長へ

大規模言語モデルの推論は、容量とI/Oという2つの壁に直面している。モデルのパラメータは増え続け、長いコンテキスト、マルチターン対話、エージェントタスクはKVキャッシュを膨張させる。MoEモデルは計算あたりのアクティブなパラメータを減らすが、エキスパートの重みをVRAMやDRAMの容量をはるかに超えて格納する必要がある。クラウドデータセンターでは、高価なHBMが重みとKVキャッシュに占有され、GPUの利用効率を制限している。エッジやデバイスでは、限られたDRAMやユニファイドメモリがモデルサイズを制約する。メモリだけでは推論負荷を処理できない状況の中、SSDがリアルタイム推論のデータパスに参入し、HBM、VRAM、DRAMに次ぐ正式なストレージ層になりつつある。この変化は推論インフラに見られる。Moonshot AIのMooncakeは、KVキャッシュ中心の分離アーキテクチャを採用し、CPU、DRAM、SSDを分散キャッシュとしてプールし、Mooncake StoreはDRAMとSSD/NVMeを用いた多層キャッシュをサポートする。2026年には、NVIDIAがVera RubinインフラにCMXコンテキストメモリストレージプラットフォームを導入し、KVキャッシュ用にイーサネット接続のフラッシュ層を追加し、BlueField-4がNVMe SSDを管理する。しかし、従来のSSDは永続的な推論タスクには適していない。ファイルやブロックストレージ向けに設計されており、シーケンシャル帯域幅、ランダムIOPS、信頼性に焦点を当てているが、LLM推論には厳しいタイミング制約を持つデータ供給が必要である。KVキャッシュはプリフィルで書き込まれ、繰り返し読み取られる。MoEは各層の計算前に特定のエキスパートの重みを必要とする。一度の読み取りミスでGPU、NPU、CPUがストールする可能性がある。高キュー深度でのピークIOPSは、低キュー深度の細粒度アクセスに対する安定したレイテンシとは等しくない。NANDフラッシュはページ単位で読み取り、ブロック単位で消去し、FTLが書き込み増幅とテールレイテンシを引き起こす。継続的なKVキャッシュ書き込みはフラッシュの寿命を圧迫する。従来のLBAレイアウトは、層、エキスパート、KVブロック間の意味的関係を無視し、関連データを分散させ、予測可能な並列読み取りを妨げる。ファイルシステム、ブロックデバイス、NVMeソフトウェアスタックはレイテンシを追加する。モデル実行順序に合わせたアドレスレイアウト、キャッシュ分割、優先度スケジューリング、非同期プリフェッチ、寿命管理がなければ、SSDはDRAMやVRAMのようにトークン生成に安定的に参加できない。市場には2種類の「AI SSD」がある。第一に、AI負荷強化型エンタープライズSSDである。例えば、InnoGritのDongting N3Xシリーズは、XL-FlashとSLC NANDを使用し、低レイテンシと高耐久性を実現し、KVキャッシュオフロードと高並列一時データを対象とし、TLC SSD比でレイテンシ3分の1、書き込みスループット3倍、DWPD 17〜33倍を主張している。HuaweiのOceanDiskシリーズには、高ランダム書き込み性能のEX 560、バランス性能のSP 560、最大245TB容量でトレーニングデータとベクターデータベース向けのLC 560があり、DiskBoosterドライバソフトウェアによりHBMやDDRとの階層化を可能にする。第二に、推論参加型AI SSDは、SSDの動作ロジックを変更し、コントローラ、ファームウェア、ミドルウェアを通じて仮想化されたNANDとDRAM/VRAM階層を構築することを目指す。PhisonのaiDAPTIVは、キャッシュSSDとミドルウェアを使用してモデル重みをVRAMとSSD間でストリーミングし、GPUを追加せずにモデルサイズを拡張し、KVキャッシュを再利用のために保持し、耐久性は最大100 DWPDである。LongsysのWM8500 SPUは、圧縮、キャッシング、データスケジューリングを統合し、iSAソフトウェアが階層化とプリフェッチの決定を行い、5nmプロセス、ロスレス圧縮、HLC、ハイブリッドNANDスケジューリングを採用する。Maxio-Infplaneアライアンス（Maxio TechnologyとInfplane）は、Infplaneの推論チップ技術（多層キャッシュ、プリフェッチなど）とMaxioのNANDおよびSSDコントローラの専門知識を組み合わせ、MoEエキスパート、KVキャッシュ、数値精度を対象とし、モデルファイルやフレームワークを変更せずに互換性を実現し、AI PC、ワークステーション、エッジデバイスでの検証を拡大することを目指す。これらのアプローチは技術的な範囲が異なり、I/Oを強化するものもあれば、ランタイムスケジューリングに参加するものもある。業界の競争は始まったばかりであり、検証済み製品や商業化の試みがあり、将来はHBM、VRAM、DRAMを置き換えるのではなく、容量、性能、コストを再階層化し、SSDがトークン経済の主要な変数になるかもしれない。