即使完美的LLM也无法让智能体系统变得可预测

文章探讨了即使在没有幻觉的情况下，基于LLM的多代理系统仍存在不可预测性。作者使用温度为0的Qwen Instruct 30B模型进行了一项实验：针对关于LLM确定性的八个相似问题，模型给出了两个相反的答案，尽管每次单独查询都完全一致地重现。通过BAAI/bge-m3指标测量的语义相似度为0.30至0.39，这意味着对于用户来说这些问题是几乎无法区分的。接下来，作者使用逻辑斯蒂映射（一种状态的非线性变换）来模拟代理链的行为。当初始值对应语义相似度时，轨迹在第15步开始出现混沌分散，尽管每一步都是确定性的。结论：单个代理的可预测性并不能保证组合的可预测性，原因在于非线性以及误差的累积。实际建议包括限制顺序链的长度、引入验证点、使用并行结构，以及针对语义相似输入对流水线进行测试。