토큰에서 태스크로: 에이전틱 AI가 인프라의 초점을 어떻게 바꾸는가

에이전틱 AI(Agentic AI)는 인프라 요구사항을 근본적으로 바꾸고 있다. 이제 핵심 지표는 더 이상 생성된 토큰의 수가 아니라 전체 작업의 성공적인 완수 여부다. 단순한 챗봇과 달리 에이전틱 워크플로우에는 계획 수립, 컨텍스트 검색, 도구 및 API(응용 프로그램 프로그래밍 인터페이스, Application Programming Interface) 호출, 샌드박스 코드 실행, 결과 검증, 텔레메트리 등이 포함된다. 토큰 처리량이나 첫 토큰 생성 시간 같은 기존 벤치마크는 더 이상 실제 성능을 제대로 반영하지 못한다. 대신 작업 실행 비용, 도구 호출 지연 시간, 샌드박스 구동 시간, 노드당 에이전트 수와 같은 워크플로우 지표가 필요하다. 라우팅, 컨텍스트 준비, 정책, 텔레메트리를 관리하는 CPU(중앙 처리 장치, Central Processing Unit)와 헤드 노드는 오케스트레이션에서 핵심적인 역할을 담당한다. 헤드 노드는 이기종(heterogeneous) AI 시스템의 전략적 제어 센터가 되고 있다. Arm은 이를 플랫폼 기회로 보고, 모델을 둘러싼 작업들—메모리 관리, 검색, 도구, API, 런타임 환경, 샌드박스, 관찰 가능성(observability)—을 조율하는 데 최적화된 자체 칩인 Arm AGI CPU를 제안한다. 목표는 GPU(그래픽 처리 장치, Graphics Processing Unit)를 대체하는 것이 아니라, 단순히 토큰 흐름뿐 아니라 전체 작업 그래프를 최적화함으로써 이기종 시스템 전체의 효율을 높이는 데 있다. 앞으로의 벤치마크는 시스템이 얼마나 빠르고, 정확하고, 안전하고, 효율적으로 작업을 완수하는지를 평가해야 할 것이다.