Silk 称 AI 推理需要根本不同的数据基础设施
NVIDIA
Silk
随着 AI 智能体从聊天机器人转向自主多步骤工作流,推理负载正以极高的并发、读取峰值和尾延迟压垮传统云存储(如 AWS EBS)。Silk 主张采用软件定义存储,将性能与容量解耦,从而无需依赖脆弱的读副本或过度配置即可满足这些需求。
英伟达CEO黄仁勋宣告了“AI工厂”时代的到来,但Silk警告称,从聊天机器人向自主AI代理的转变会引发大规模数据问题。推理过程的行为类似于联机事务处理增强版,具有前所未有的并发性、读取峰值和不可预测的访问模式,迅速耗尽Amazon Web Services弹性块存储的突发积分,导致延迟从1毫秒飙升至超过100毫秒。存储瓶颈而非计算成为关键的故障点。Silk提供了一个名为“FinRetail”的案例研究,其中基于检索增强生成的购物助手造成了“成功灾难”,存储层不堪重负,导致整个网站瘫痪。根据Silk的说法,解决方案是一种软件定义的存储抽象层,将应用性能与原生AWS存储限制解耦,即使在混合负载下也能提供一致的亚毫秒级p99延迟。Silk的对称主动-主动架构和分布式缓存可实现20吉字节/秒的输入/输出吞吐量,从而无需使用脆弱的只读副本或过度配置弹性计算云计算资源。
来源: The Register AI/ML —
原文
