에이전틱 AI를 위한 엔터프라이즈 환경 구축

인텔은 수천 건의 에이전틱 AI(Agentic AI) 워크로드 실험을 수행하여 기업 리더를 위한 다섯 가지 교훈을 도출했습니다. 이들은 에이전틱 AI가 단순한 추론(Inference)이 아닌 더 큰 시스템 문제이며, 기존 대부분의 테스트 하네스(Harness)는 전반적인 시스템 성능을 측정하지 못한다고 주장합니다. 용량 계획은 에이전트 수가 아닌 vCPU당 에이전트 밀도(Agents per vCPU Density)를 기준으로 수립해야 합니다. 평균 CPU 사용률보다 에이전트 태스크 지연 시간(P95)을 모니터링하는 것이 더 유용한 정보를 제공합니다. 에이전트를 호스팅하는 시스템은 기본적으로 스케일 아웃(Scale-Out)을 채택하고, 에이전트당 더 무거운 컴퓨팅이 필요한 워크로드에만 스케일 업(Scale-Up)을 예약해야 합니다. 인텔은 에이전틱 AI 워크로드를 벤치마킹하기 위해 Terminal-Bench를 확장했으며, 결정론적 레코드-재생(Deterministic Record-Replay) 방식을 사용하여 대규모 언어 모델(LLM) 응답의 변동성과 에이전트 성능을 분리했습니다. 태스크 구성에는 컴파일, 테스트, 데이터베이스 작업 등이 포함되었습니다. 에이전틱 AI 배포는 세 단계로 진행해야 합니다: 에이전트 밀도에 따른 계획, P95 지연 시간에 초점을 맞춘 새로운 관찰 가능성(Observability) 도입, 그리고 기본적인 스케일 아웃입니다. 이 기사는 또한 에이전틱 AI를 위한 기업 페르소나(Persona)를 식별합니다: 사이클 타임(Cycle Time), 생산성 및 비용 관리를 개선하는 책임 있는 리더들입니다.