硬件与推理 RSS

硬件与推理 🇷🇺

NVIDIA Groq 3:新AI平台中的SRAM、解耦与确定性计算

NVIDIA以200亿美元收购Groq后,将LPU加速器集成到Vera Rubin平台中,实现了解耦的异构AI推理。新的Groq 3 LPX机架系统结合了256个LPU,用于快速、确定性的令牌生成,而Vera Rubin NVL72则处理灵活的训练和推理。该平台针对低延迟交互式AI和多智能体工作负载,承诺在每用户400 TPS下性能比Grace Blackwell NVL72快达35倍。

NVIDIANVIDIA GroqGroq
ServerNews27.07 · 15:06
最新新闻