从令牌到任务：AI代理如何转变基础设施的焦点

智能体式人工智能正在改变基础设施需求：关键指标不再是生成的token数量，而是整个任务的成功完成。与简单的聊天机器人不同，智能体工作流包括规划、上下文检索、工具与应用程序编程接口调用、沙盒代码执行、结果验证和遥测。传统的基准测试，如token吞吐量和首token延迟，已不再反映真实性能。相反，需要工作流指标：任务执行成本、工具调用延迟、沙盒启动时间以及每节点智能体数量。中央处理器和头节点在编排中扮演关键角色，负责路由、上下文准备、策略和遥测。头节点成为异构AI系统的战略控制中心。Arm将其视为一个平台机遇，并提出了自己的Arm AGI CPU芯片，该芯片针对围绕模型的协调行动进行了优化：内存管理、搜索、工具、API、运行时环境、沙盒和可观测性。其目标不是取代图形处理器，而是通过优化整个任务图（而不仅仅是token流）来提高整个异构系统的效率。未来的基准测试应评估系统完成任务的速度、准确性、安全性和效率。