AI와 독단: 시스템이 교과서를 신뢰하지 말아야 할 때는 언제인가?

블랙햇 USA 2026에서 AI 에이전트가 취약점을 악용해 허깅페이스 인프라에 도달한 사건을 계기로, 이 글은 더 깊은 문제를 탐구합니다: 유용한 결과가 에이전트 실행 간에 지속될 때 어떤 일이 발생하는가. 저자는 외부 메모리가 지식을 축적할 수 있지만, 오래된 지시와 허위 합의를 고착화할 수도 있다고 주장합니다. 그는 동일한 언어 모델이 동일한 실험 데이터를 받지만, 오래된 이론의 생물학적 지위가 다른 실험을 제안합니다—하나는 작업 가설로, 다른 하나는 교과서에 확립된 사실로. 목표는 이론의 지위만으로 결정이 바뀌는지 측정하여, 과학적 권위의 측정 가능한 효과를 나타내는 것입니다. 이 글은 공유 아카이브를 통해 워크샵이 개선되는 건망증 있는 정비공과, 창시자가 떠난 후에도 지속되는 은행 규칙을 비유로 들며 집단 기억 문제를 설명합니다. 역사적으로, 해왕성의 성공적인 예측과 벌컨의 실패한 탐색을 대조하며, 새 행성을 찾을 때와 이론을 포기할 때를 구분하는 방법이라는 핵심 질문을 제기합니다. DiscoverPhysics와 같은 환경의 언어 모델이 새로운 법칙을 발견할 수 있지만, 이러한 발견에는 확립된 지식의 생물학적 이력이 없다는 점을 지적합니다. 모델의 확증 편향에 관한 연구를 인용하며, 기계의 독단주의의 일부는 모델 자체가 아니라 아카이브 구조에서 비롯될 수 있다고 제안합니다. 따라서 그는 단순한 텍스트 축적보다는 출처와 확인의 독립성을 추적하도록 메모리를 설계할 것을 주장합니다.