De tokens a tarefas: como a IA agentiva está mudando o foco da infraestrutura

A IA agentíca está transformando os requisitos de infraestrutura: a métrica chave não é mais o número de tokens gerados, mas a conclusão bem-sucedida de toda a tarefa. Diferentemente de chatbots simples, os fluxos de trabalho agentícos incluem planejamento, recuperação de contexto, chamadas de ferramentas e APIs, execução de código em ambiente isolado, verificação de resultados e telemetria. Benchmarks tradicionais, como throughput de tokens e tempo até o primeiro token, não refletem mais o desempenho real. Em vez disso, métricas de fluxo de trabalho são necessárias: custo de execução da tarefa, latência de chamada de ferramentas, tempo de inicialização do ambiente isolado e agentes por nó. A unidade central de processamento (CPU) e o nó head, que gerencia roteamento, preparação de contexto, políticas e telemetria, desempenham um papel fundamental na orquestração. O nó head se torna um centro de controle estratégico para o sistema de IA heterogêneo. A Arm vê isso como uma oportunidade de plataforma e propõe seu próprio chip Arm AGI CPU, otimizado para coordenar ações em torno do modelo: gerenciamento de memória, busca, ferramentas, interfaces de programação de aplicações (APIs), ambiente de execução, ambiente isolado e observabilidade. O objetivo não é substituir a unidade de processamento gráfico (GPU), mas tornar todo o sistema heterogêneo mais eficiente, otimizando o grafo de tarefas completo, não apenas o fluxo de tokens. Benchmarks futuros devem avaliar com que rapidez, precisão, segurança e eficiência um sistema conclui tarefas.