AIエージェントの障害：ダッシュボードは正常を示すがエージェントは数日間誤った動作をする理由

AIエージェントは従来のサービスとは異なる形で障害を起こす。クラッシュするのではなく徐々に性能が低下するため、標準的な稼働時間やエラー率の指標は役に立たない。エージェントは各ステップで非決定的な判断を下すため、障害は最終的な応答ではなく、推論サイクルの中で発生する。可観測性を達成するには、チームはユニークなトレースIDで推論サイクル全体をトレースし、ツール選択の正確性や目標達成率などのエージェントレベルの指標を測定し、LLM-as-judge（大規模言語モデルを評価者として用いる手法）を用いて応答のサンプルを評価し、プロンプトをGitでバージョン管理し、ベンダーロックインを避けるためにテレメトリーを2つの宛先（例：クラウドプロバイダーと専門ツール）に送信する必要がある。これらのプラクティスは、専門的なエージェント可観測性ツールが成熟する前でも不可欠である。