AMD与Cerebras联手开发超低延迟AI推理平台

AMD与Cerebras Systems宣布联合开发一种计算平台，该平台结合了AMD Instinct加速器和Cerebras Wafer Scale Engine（WSE）芯片（内置SRAM内存）。该平台专为AI智能体推理阶段设计，该阶段需要大量快速内存。Cerebras首席执行官安德鲁·费尔德曼表示，该项目填补了AMD在英伟达以200亿美元收购初创公司Groq后产品组合中的空白。Cerebras WSE芯片使用SRAM而非HBM4内存，可实现每秒超过2000个令牌的生成速度。在混合系统中，复杂查询由AMD Instinct加速器处理，而令牌生成则交由Cerebras WSE负责，从而将能效（每瓦特生成的令牌数）提升五倍。相比之下，服务拥有1万亿参数的Kimi K2.5模型需要两千块Groq芯片，而在AMD与Cerebras的系统中仅需几十块。该联合解决方案将于今年年底前在Cerebras Cloud中提供。