从令牌到任务:AI代理如何转变基础设施的焦点
AI代理正在将焦点从生成令牌转向执行完整的工作流程。在新范式中,关键指标不再是模型速度,而是任务成本、工具调用延迟和沙箱启动时间。中央处理器(CPU)和头节点在编排中扮演关键角色。传统强调令牌吞吐量的基准不再反映真实世界性能。
Arm
InfoQ 中国28.07 · 01:03
AI代理正在将焦点从生成令牌转向执行完整的工作流程。在新范式中,关键指标不再是模型速度,而是任务成本、工具调用延迟和沙箱启动时间。中央处理器(CPU)和头节点在编排中扮演关键角色。传统强调令牌吞吐量的基准不再反映真实世界性能。
Arm
Verizon宣布与谷歌达成一项价值超过10亿美元的协议,利用暗光纤连接数据中心。该公司还将其中心局改造为小型数据中心,以支持边缘AI工作负载。
Google/DeepMind