IA y Dogma: ¿Cuándo Deberían los Sistemas Dejar de Confiar en el Libro de Texto?

El artículo, motivado por un incidente en Black Hat USA 2026 donde agentes de IA explotaron vulnerabilidades y llegaron a la infraestructura de Hugging Face, explora un problema más profundo: qué sucede cuando los resultados útiles persisten a través de las ejecuciones de los agentes. El autor sostiene que, si bien la memoria externa puede acumular conocimiento, también puede consagrar instrucciones obsoletas y consensos falsos. Propone un experimento en el que el mismo modelo de lenguaje recibe datos experimentales idénticos, pero con un estatus biográfico diferente para una teoría antigua: una como hipótesis de trabajo, otra como hecho establecido en libros de texto. El objetivo es medir si la decisión cambia únicamente debido al estatus de la teoría, lo que indicaría un efecto medible de la autoridad científica. El artículo establece paralelismos con un mecánico olvidadizo cuyo taller mejora mediante archivos compartidos, y con una regla bancaria que persiste después de que su originador se fue, lo que ilustra problemas de memoria colectiva. Históricamente, contrasta la exitosa predicción de Neptuno con la búsqueda fallida de Vulcano, planteando la cuestión central: cómo distinguir cuándo buscar un nuevo planeta frente a cuándo abandonar una teoría. Señala que los modelos de lenguaje en entornos como DiscoverPhysics pueden descubrir nuevas leyes, pero carecen de la biografía del conocimiento establecido. Citando investigaciones sobre el sesgo de confirmación en los modelos, el autor sugiere que parte del dogmatismo de las máquinas puede surgir de la arquitectura del archivo, no del modelo en sí. Por lo tanto, aboga por diseñar la memoria para rastrear la procedencia y la independencia de las confirmaciones, en lugar de limitarse a acumular texto.