Традиционные метрики, такие как пропускная способность по токенам и время до первого токена, больше не отражают реальную производительность. Вместо этого необходимы метрики рабочего процесса: стоимость выполнения задачи, задержка вызова инструмента, время запуска изолированной среды и количество агентов на узел. Центральный процессор (CPU) и головной узел, который управляет маршрутизацией, подготовкой контекста, политиками и телеметрией, играют ключевую роль в оркестровке. Головной узел становится стратегическим центром управления для гетерогенной системы ИИ. Компания Arm видит в этом платформенную возможность и предлагает собственный чип Arm AGI CPU, оптимизированный для координации действий вокруг модели: управление памятью, поиск, инструменты, API, среда выполнения, изолированная среда и наблюдаемость. Цель состоит не в замене графического процессора (GPU), а в повышении эффективности всей гетерогенной системы за счет оптимизации полного графа задач, а не только потока токенов. Будущие бенчмарки должны оценивать, насколько быстро, точно, безопасно и эффективно система выполняет задачи.