人工智能与教条：系统何时应停止信任教科书？

这篇文章由 Black Hat USA 2026 期间发生的一起事件引发，当时 AI 代理利用了漏洞并侵入了 Hugging Face 的基础设施，进而探讨了一个更深层次的问题：当有用的结果在代理运行之间持续存在时会发生什么。作者认为，虽然外部记忆可以积累知识，但也可能固化过时的指令和虚假的共识。他提出了一个实验，让同一个语言模型接收相同的实验数据，但赋予一个旧理论不同的传记地位——一个作为工作假设，另一个作为教科书上已确立的事实。目标是衡量决策是否会仅因理论地位而改变，从而表明科学权威的可测量效应。文章类比了一个健忘的机械师，其车间通过共享档案得到改进，以及一条在原始制定者离开后仍然存在的银行规则，以此说明集体记忆的问题。历史上，文章对比了海王星的成功预测和火神星寻找的失败，引出了核心问题：如何区分何时寻找新行星与何时放弃理论。文章指出，在类似 DiscoverPhysics 的环境中，语言模型可以发现新定律，但这些定律缺乏既有知识的传记。文章引用关于模型确认偏差的研究，认为机器教条主义的一部分可能源于档案架构，而非模型本身。因此，他主张设计记忆以跟踪来源和确认的独立性，而不仅仅是积累文本。