Expedia, AI 에이전트 대신 결정론적 워크플로우로 AI 운영 플랫폼 구축

Expedia Group이 서비스 원격 분석 분석기(STAR)를 출시했습니다. STAR는 AI 기반 가시성(Observability) 플랫폼으로, 서비스 원격 분석 데이터를 분석하고 구조화된 근본 원인 평가를 생성하여 엔지니어가 프로덕션 장애를 조사하는 데 도움을 줍니다. 이 시스템은 자율 AI 에이전트를 사용하지 않고 결정론적 워크플로우를 따릅니다. 즉, 원격 분석 데이터를 수집하고, 도메인별 프롬프트로 분석을 수행하며, 결과를 종합하여 잠재적 근본 원인과 권장 다음 단계가 포함된 보고서를 생성합니다. STAR는 Datadog와 통합된 FastAPI 애플리케이션으로 구현되어 메트릭을 수집하고, 내부 생성형 AI 게이트웨이를 통해 대규모 언어 모델(LLM)에 접근합니다. 여러 전문 분석을 수행한 후 통합 진단을 생성하기 위해 프롬프트 체이닝을 사용합니다. 이 플랫폼은 Kubernetes 기반 서비스와 JVM(Java Virtual Machine) 애플리케이션의 표준화된 인프라 원격 분석 데이터(요청 처리량, 지연 시간, 오류율, CPU/메모리 사용량, 컨테이너 재시작, Java 힙 사용량 등)에 초점을 맞춥니다. Expedia는 I/O 집약적 작업과 속도 제한을 처리하기 위해 FastAPI의 백그라운드 작업을 Redis를 브로커 및 결과 백엔드로 사용하는 비동기 Celery 아키텍처로 대체했습니다. STAR는 프로덕션 장애 조사, 사후 분석, Kubernetes 문제 해결, JVM 메모리 진단에 사용됩니다. 향후 계획으로는 서비스 종속성 정보 추가, MCP(Model Context Protocol) 도구 통합, 대화형 인터페이스 도입이 있습니다. 프롬프트 관리와 평가는 Langfuse가 지원합니다.