完全なLLMでもエージェントシステムを予測可能にはできない理由

この記事では、ゼロ hallucinations の下でも、LLM ベースのマルチエージェントシステムが予測不可能であることを検証しています。著者は、温度 0 の Qwen Instruct 30B モデルで実験を行いました。LLM の決定性に関する 8 つの類似した質問に対して、モデルは 2 つの相反する回答を与えましたが、個々のクエリはそれぞれ同一に再現されました。BAAI/bge-m3 メトリクスで測定された質問の意味的類似性は 0.30 から 0.39 であり、ユーザーにとっては事実上区別がつかないことを意味します。次に、著者はロジスティック写像（状態の非線形変換）を用いてエージェントチェーンの動作をシミュレーションします。意味的類似性に対応する初期値では、各ステップが決定論的であるにもかかわらず、ステップ 15 までに軌道はカオス的に分岐します。結論として、単一エージェントの予測可能性は、非線形性と誤差の蓄積により、合成の予測可能性を保証しません。実用的な推奨事項には、逐次チェーンの長さを制限すること、検証ポイントを導入すること、並列構造を使用すること、パイプラインを意味的に類似した入力でテストすることが含まれます。