インフラ用LLMエージェントに嘘をつかないよう訓練する方法

社内の読み取り専用LLMエージェントが構築され、「サービスがなぜ502を返すのか」といったインフラに関する質問に回答するようになりました。このエージェントはGoで実装され、LangChainは使用せず、OpenAI互換APIを介してDeepSeek-V4-FlashとQwen3.6-27B-FP8のモデルを呼び出します。最初のバージョンでは、フリーのReActループを使用しており、形式的には正しいがしばしば誤解を招く回答を生成していました。例えば、プロキシでレスポンスヘッダーが過大であることが原因で502エラーが発生したケースでは、エージェントは「アプリケーションレベルではエラーなし」と結論づけ、実際の原因を見逃しました。5種類のエラーが特定されました：範囲の誤り、時間セマンティクスの誤り、誤った否定結論、証拠の欠落、そして制御不能な再計画です。解決策は、LLMを厳格なアプリケーションフレームワーク内に組み込むことでした。ツール呼び出しは、拡張契約x-agentによって管理され、証拠、出力の種類、鮮度、否定セマンティクス、読み取り専用ステータスを定義します。プランナーはまず、目標（例：symptom.http_502, route.edge_to_ingress）と停止条件を構築します。停止条件は、すべての必須目標が解決されるか、明示的に利用不可能でなければならないというものです。証拠ガードは、すべての目標が満たされるまでファイナライザーが結論を出せないようにします。ツール選択は段階的に行われます：ポリシーフィルター、語彙プレフィルター、LLM再ランク（上位8件）、そして目標関連性ゲート。リスクの高いインテントには、決定論的な事前ルートが設定されています。最終評価では、45シナリオ中44シナリオが合格（29の必須シナリオはすべて合格）、各シナリオは2回ずつ実行されました。唯一の不合格は、オプションの容量レポート形式に関するテストでした。このエージェントは読み取り専用のままであり、本番環境の変更は人間が決定します。