От токенов к задачам: как агентный ИИ меняет фокус инфраструктуры
Arm
Агентный ИИ смещает акцент с генерации токенов на выполнение полных рабочих процессов. В новой парадигме ключевыми становятся не скорость модели, а стоимость задачи, задержки вызовов инструментов и время запуска песочницы. Процессор (CPU) и головной узел играют решающую роль в оркестрации. Традиционные бенчмарки, ориентированные на пропускную способность токенов, уже не отражают реальную производительность.
Агентный ИИ меняет требования к инфраструктуре: ключевым показателем становится не количество сгенерированных токенов, а успешное выполнение всей задачи. В отличие от простых чат-ботов, агентные рабочие процессы включают планирование, поиск контекста, вызовы инструментов и интерфейсов прикладного программирования (API), выполнение кода в изолированной среде, проверку результатов и телеметрию.
Показать ещё ↓
Источник: InfoQ 中国 —
оригинал