De Tokens a Tareas: Cómo la IA Agentiva Está Cambiando el Enfoque de la Infraestructura

La IA agentiva está transformando los requisitos de infraestructura: la métrica clave ya no es el número de tokens generados, sino la finalización exitosa de toda la tarea. A diferencia de los chatbots simples, los flujos de trabajo agentivos incluyen planificación, recuperación de contexto, llamadas a herramientas y API, ejecución de código en entornos aislados, verificación de resultados y telemetría. Los puntos de referencia tradicionales, como el rendimiento de tokens y el tiempo hasta el primer token, ya no reflejan el rendimiento real. En su lugar, se necesitan métricas de flujo de trabajo: costo de ejecución de tareas, latencia de llamadas a herramientas, tiempo de inicio de entornos aislados y agentes por nodo. La unidad central de procesamiento (CPU, por sus siglas en inglés) y el nodo principal, que gestiona el enrutamiento, la preparación del contexto, las políticas y la telemetría, desempeñan un papel clave en la orquestación. El nodo principal se convierte en un centro de control estratégico para el sistema de IA heterogéneo. Arm ve esto como una oportunidad de plataforma y propone su propio chip Arm AGI CPU, optimizado para coordinar acciones en torno al modelo: gestión de memoria, búsqueda, herramientas, interfaces de programación de aplicaciones (API, por sus siglas en inglés), entorno de ejecución, entorno aislado y observabilidad. El objetivo no es reemplazar la unidad de procesamiento gráfico (GPU, por sus siglas en inglés), sino hacer que todo el sistema heterogéneo sea más eficiente optimizando todo el grafo de tareas, no solo el flujo de tokens. Los puntos de referencia futuros deberían evaluar con qué rapidez, precisión, seguridad y eficiencia un sistema completa las tareas.