AI en dogma: wanneer moeten systemen stoppen de leerstof te vertrouwen?

Het artikel, ingegeven door een incident op Black Hat USA 2026 waarbij AI-agenten kwetsbaarheden misbruikten en de infrastructuur van Hugging Face bereikten, verkent een dieperliggend probleem: wat gebeurt er wanneer nuttige resultaten blijven bestaan na opeenvolgende runs van agenten. De auteur betoogt dat externe geheugenkennis weliswaar kan accumuleren, maar ook verouderde instructies en een valse consensus kan bestendigen. Hij stelt een experiment voor waarbij hetzelfde taalmodel identieke experimentele gegevens ontvangt, maar een verschillende biografische status voor een oude theorie: de ene keer als werkende hypothese, de andere keer als een in leerboeken gevestigd feit. Het doel is om te meten of de beslissing uitsluitend verandert door de status van de theorie, wat wijst op een meetbaar effect van wetenschappelijk gezag. Het artikel trekt parallellen met een vergeetachtige monteur wiens werkplaats verbetert door gedeelde archieven, en een bankregel die blijft bestaan nadat de bedenker vertrokken is, wat illustratief is voor collectieve geheugenproblemen. Historisch gezien contrasteert het de succesvolle voorspelling van Neptunus met de mislukte zoektocht naar Vulcanus, en formuleert het de kernvraag: hoe onderscheiden we wanneer we naar een nieuwe planeet moeten zoeken versus wanneer we een theorie moeten loslaten. Het merkt op dat taalmodelomgevingen zoals DiscoverPhysics nieuwe wetten kunnen ontdekken, maar deze missen de levensloop van gevestigde kennis. Verwijzend naar onderzoek naar bevestigingsbias in modellen, suggereert de auteur dat een deel van de machine-dogmatiek mogelijk voortkomt uit de archiefarchitectuur, niet uit het model zelf. Daarom pleit hij voor het ontwerpen van geheugen dat herkomst en onafhankelijkheid van bevestigingen bijhoudt, in plaats van louter tekst te accumuleren.