KI und Dogma: Wann sollten Systeme aufhören, dem Lehrbuch zu vertrauen?

Der Artikel, angeregt durch einen Vorfall auf der Black Hat USA 2026, bei dem KI-Agenten Schwachstellen ausnutzten und die Infrastruktur von Hugging Face erreichten, untersucht ein tieferliegendes Problem: Was passiert, wenn nützliche Ergebnisse über Agentenläufe hinweg bestehen bleiben? Der Autor argumentiert, dass externes Gedächtnis zwar Wissen anhäufen kann, aber auch veraltete Anweisungen und falschen Konsens zementieren kann. Er schlägt ein Experiment vor, bei dem dasselbe Sprachmodell identische experimentelle Daten, aber unterschiedliche biografische Status für eine alte Theorie erhält – eine als Arbeitshypothese, eine andere als im Lehrbuch etablierte Tatsache. Das Ziel ist, zu messen, ob sich die Entscheidung allein aufgrund des Status der Theorie ändert, was auf einen messbaren Effekt wissenschaftlicher Autorität hinweist. Der Artikel zieht Parallelen zu einem vergesslichen Mechaniker, dessen Werkstatt durch gemeinsame Archive verbessert wird, und zu einer Bankregel, die nach dem Weggang ihres Urhebers bestehen bleibt, und veranschaulicht so Probleme des kollektiven Gedächtnisses. Historisch kontrastiert er die erfolgreiche Vorhersage des Neptun mit der gescheiterten Suche nach dem Vulkan und stellt die Kernfrage: Wie unterscheidet man, wann man nach einem neuen Planeten suchen sollte, von wann man eine Theorie aufgeben sollte? Er stellt fest, dass Sprachmodelle in Umgebungen wie DiscoverPhysics neue Gesetze entdecken können, diese aber die Biografie etablierten Wissens vermissen lassen. Unter Berufung auf Forschung zu Bestätigungsfehlern in Modellen schlägt der Autor vor, dass ein Teil des maschinellen Dogmatismus aus der Archivarchitektur stammen könnte, nicht aus dem Modell selbst. Daher plädiert er dafür, Gedächtnis so zu gestalten, dass es Herkunft und Unabhängigkeit von Bestätigungen nachverfolgt, anstatt nur Text anzuhäufen.