Des jetons aux tâches : comment l'IA agentique déplace le focus sur l'infrastructure

L'IA agentique transforme les exigences en matière d'infrastructure : la métrique clé n'est plus le nombre de jetons générés, mais l'achèvement réussi de l'ensemble de la tâche. Contrairement aux simples chatbots, les workflows agentiques incluent la planification, la récupération de contexte, les appels d'outils et d'interfaces de programmation d'applications (API), l'exécution de code en bac à sable, la vérification des résultats et la télémétrie. Les benchmarks traditionnels tels que le débit de jetons et le temps d'obtention du premier jeton ne reflètent plus les performances réelles. Il faut plutôt des métriques de workflow : coût d'exécution des tâches, latence des appels d'outils, temps de démarrage du bac à sable et agents par nœud. L'unité centrale de traitement (CPU) et le nœud principal, qui gère le routage, la préparation du contexte, les politiques et la télémétrie, jouent un rôle clé dans l'orchestration. Le nœud principal devient un centre de contrôle stratégique pour le système d'IA hétérogène. Arm y voit une opportunité de plateforme et propose sa propre puce CPU Arm AGI, optimisée pour coordonner les actions autour du modèle : gestion de la mémoire, recherche, outils, API, environnement d'exécution, bac à sable et observabilité. L'objectif n'est pas de remplacer l'unité de traitement graphique (GPU), mais de rendre l'ensemble du système hétérogène plus efficace en optimisant le graphe de tâches complet, et non seulement le flux de jetons. Les benchmarks futurs devraient évaluer la rapidité, la précision, la sécurité et l'efficacité avec lesquelles un système accomplit ses tâches.