Expedia、AIエージェントではなく決定論的ワークフローでAI Opsプラットフォームを構築

Expedia Groupは、エンジニアがサービステレメトリデータを分析し、構造化された根本原因評価を生成することで、本番インシデントの調査を支援するAI支援型可観測性プラットフォーム「Service Telemetry Analyzer（STAR）」を導入しました。このシステムは自律型AIエージェントではなく、決定論的なワークフローに従います。テレメトリデータを収集し、ドメイン固有のプロンプトで分析を実行し、結果を集約して、潜在的な根本原因と推奨される次のステップを含むレポートを生成します。STARはFastAPIアプリケーションとして実装されており、Datadogとの統合によるメトリクス取得と、LLMアクセスのための内部生成AIゲートウェイを備えています。プロンプトチェーンを使用して複数の専門分析を実行した後、統合された診断を生成します。このプラットフォームは、KubernetesベースのサービスおよびJVMアプリケーションからの標準化されたインフラストラクチャテレメトリに焦点を当てており、リクエストスループット、レイテンシー、エラー率、CPU/メモリ使用率、コンテナ再起動、Javaヒープ使用量などのメトリクスが含まれます。Expediaは、FastAPIのバックグラウンドタスクを、Redisをブローカーおよび結果バックエンドとして使用する非同期Celeryアーキテクチャに置き換え、I/O集中型の操作とレート制限を処理しています。STARは、本番インシデント調査、インシデント後の分析、Kubernetesのトラブルシューティング、JVMメモリ診断に使用されています。今後の計画には、サービス依存関係情報の追加、Model Context Protocol（MCP）ツール統合、および会話型インタフェースが含まれます。プロンプト管理と評価はLangfuseによってサポートされています。