AI dan Dogma: Kapan Sistem Harus Berhenti Mempercayai Buku Teks?

Artikel ini, yang dipicu oleh sebuah insiden di Black Hat USA 2026 di mana agen AI mengeksploitasi kerentanan dan mencapai infrastruktur Hugging Face, mengeksplorasi masalah yang lebih dalam: apa yang terjadi ketika hasil yang berguna bertahan di antara eksekusi agen. Penulis berpendapat bahwa meskipun memori eksternal dapat mengakumulasi pengetahuan, hal itu juga dapat mengabadikan instruksi yang usang dan konsensus palsu. Ia mengusulkan sebuah eksperimen di mana model bahasa yang sama menerima data eksperimen yang identik tetapi status biografis yang berbeda untuk sebuah teori lama—satu sebagai hipotesis kerja, yang lain sebagai fakta yang mapan dalam buku teks. Tujuannya adalah untuk mengukur apakah keputusan berubah hanya karena status teori tersebut, yang menunjukkan efek terukur dari otoritas ilmiah. Artikel ini menarik paralel dengan seorang mekanik yang pelupa yang bengkelnya membaik melalui arsip bersama, dan aturan bank yang bertahan setelah pendirinya pergi, yang mengilustrasikan masalah memori kolektif. Secara historis, artikel ini membandingkan prediksi sukses Neptunus dengan pencarian Vulcan yang gagal, yang membingkai pertanyaan inti: bagaimana membedakan kapan harus mencari planet baru versus kapan harus meninggalkan teori. Dikatakan bahwa model bahasa dalam lingkungan seperti DiscoverPhysics dapat menemukan hukum baru, tetapi mereka kekurangan biografi pengetahuan yang mapan. Mengutip penelitian tentang bias konfirmasi dalam model, penulis menyarankan bahwa sebagian dogmatisme mesin mungkin berasal dari arsitektur arsip, bukan model itu sendiri. Oleh karena itu, ia menganjurkan untuk merancang memori untuk melacak asal-usul dan independensi konfirmasi, daripada hanya mengakumulasi teks.