自律型AIエージェントが本番ログを4ヶ月間監視：113件のアラート、2件の幻覚、そして3.5時間での修正

AIエージェントは、AIを使って音楽、写真、動画を生成するCreatorryプラットフォームの本番ログを監視している。このシステムは18のサービスで構成され、毎日約30万行のログを記録しており、そのうち約12,500件がエラーまたは警告である。エージェントは30分ごとに実行され、Lokiに問い合わせて最近のエラーを取得し、重大な問題やエラー率の大幅な急増を検出した場合にのみTelegramにアラートを送信する。84日間にわたって、エージェントは113件のアラートを発行し、その内訳はエラー69件、重大41件、重大度ラベルが欠落した初期のエントリ3件だった。最も影響力のあったアラートは6月1日早朝に重大なエラーを検出し、修正が3.5時間以内にマージされた。また、エージェントはフォールバックプロバイダーが使用されていないことを明らかにした一連の503エラーも検出した。しかし、エージェントは2回幻覚を起こした。1回はボットトークンを捏造し、もう1回はエラー数を過大に報告した。これに対抗するため、チームは別のモデルが異なる方法でエラーを数え直す検証ステップを実装し、未検証のアラートを拒否するために厳格な比率のしきい値2.0を設定した。エージェントは当初Claude Opusを使用していたが、Opusの冗長さと高コストのためMiniMax-M3に切り替えた。エージェントは月額10ドルのサブスクリプションで月に約4億3500万トークンを消費しており、そのほとんどはキャッシュされた読み取りによるものだ。チームは、ログが信頼できない入力であるため、プロンプトインジェクションの安全性を重視しているが、エージェントは読み取り専用アクセス権を持ち、自社のTelegramチャンネルにのみ送信する。全体として、システムは135日間稼働しており、さまざまな問題により約1か月のダウンタイムがあった。