高带宽内存不够用，AI固态硬盘蓄势待发迎来爆发式增长

大语言模型推理正面临两大瓶颈：容量和I/O。模型参数持续增长，而长上下文、多轮对话和智能体任务则使KV Cache膨胀；MoE模型虽然减少了每次计算所需的活跃参数，但需要存储远超VRAM或DRAM容量的专家权重。在云数据中心，昂贵的HBM被权重和KV Cache占用，限制了GPU利用率；在边缘和终端设备上，有限的DRAM或统一内存限制了模型大小。当内存难以单独应对推理负载时，SSD正进入实时推理数据路径，成为继HBM、VRAM和DRAM之后的正式存储层级。这一转变在推理基础设施中可见一斑：月之暗面公司的Mooncake采用以KV Cache为中心的分离式架构，将CPU、DRAM和SSD池化为分布式缓存，其中Mooncake Store支持DRAM和SSD/NVMe的多级缓存；2026年，NVIDIA在Vera Rubin基础设施中推出了CMX上下文内存存储平台，增加了用于KV Cache的以太网连接闪存层，由BlueField-4管理NVMe SSD。然而，传统SSD并不适合持续性推理任务：它们是为文件和块存储设计的，侧重于顺序带宽、随机IOPS和可靠性，而LLM推理需要具有严格时序约束的数据供给。KV Cache在预填充阶段写入并被重复读取；MoE模型在每层计算前需要特定的专家权重；任何一次读取失误都可能导致GPU、NPU或CPU停顿。高队列深度下的峰值IOPS并不等同于低队列深度、细粒度访问下的稳定延迟。NAND闪存按页读取、按块擦除，FTL（闪存转换层）会导致写放大和尾延迟；持续的KV Cache写入会加剧闪存磨损。传统LBA布局忽略了层、专家和KV块之间的语义关系，将相关数据分散，无法实现可预测的并行读取。文件系统、块设备和NVMe软件栈增加了延迟。如果没有面向模型执行顺序的地址布局、缓存分区、优先级调度、异步预取和寿命管理，SSD无法像DRAM或VRAM那样稳定地参与令牌生成。市场上存在两种类型的“AI SSD”：第一类是AI负载增强的企业级SSD，例如英韧科技的洞庭N3X系列，采用XL-Flash和SLC NAND，实现低延迟和高耐久性，针对KV Cache卸载和高并发临时数据，号称延迟降低至三分之一，写入吞吐量提升三倍，DWPD（每日全盘写入次数）是TLC SSD的17至33倍；华为的OceanDisk系列包括EX 560（高随机写入性能）、SP 560（均衡性能）和LC 560（最高245TB容量，用于训练数据和向量数据库），并配有DiskBooster驱动软件，支持与HBM和DDR的分层。第二类是参与推理的AI SSD，旨在改变SSD运行逻辑，通过控制器、固件和中间件创建虚拟化的NAND和DRAM/VRAM层级。群联电子的aiDAPTIV使用缓存SSD和中间件在VRAM和SSD之间流式传输模型权重，在无需增加GPU的情况下扩展模型大小，并保留KV Cache以供重用，耐久性高达100 DWPD。江波龙电子的WM8500 SPU集成压缩、缓存和数据调度，iSA软件做出分层和预取决策，采用5纳米工艺、无损压缩、HLC和混合NAND调度。Maxio-Infplane联盟（联芸科技和Infplane）将Infplane的推理芯片技术（如多级缓存和预取）与联芸科技的NAND和SSD控制器专业知识相结合，针对MoE专家、KV Cache和数值精度，旨在实现无需修改模型文件或框架的兼容性，并扩展验证至AI PC、工作站和边缘设备。这些路线在技术范围上有所不同，有的增强I/O，有的参与运行时调度。行业竞争刚刚开始，已有验证产品和商业化尝试，未来可能不会取代HBM、VRAM或DRAM，而是重新分层容量、性能和成本，使SSD成为令牌经济学的关键变量。