El compilador que alucina: compilando programas directamente en pesos de redes neuronales

Tradicionalmente, un compilador traduce código de alto nivel a instrucciones de máquina primitivas adaptadas a hardware específico. En cambio, un nuevo paradigma trata las redes neuronales como la arquitectura objetivo: los programas escritos en un lenguaje especializado como RASP se compilan directamente en pesos, de manera determinista y sin entrenamiento. RASP, introducido en 2021 por Gail Weiss, Yoav Goldberg y Eran Yahav, proporciona dos construcciones principales: seleccionar y agregar, que reflejan los mecanismos de atención y de avance de los transformadores. En 2023, DeepMind implementó el compilador Tracr, que toma programas RASP y produce pesos de transformadores, utilizando el flujo residual como memoria y asignando segmentos disjuntos para las variables. Estos modelos compilados son totalmente interpretables: se conoce la ubicación de cada variable y la función de cada capa. La motivación principal es crear modelos de referencia (ground-truth) para la investigación de interpretabilidad, que sirvan como estándares de calibración para las herramientas de análisis. Un hallazgo notable es que la asignación directa de variables de Tracr es derrochadora en comparación con las redes reales, que superponen la información de manera densa, lo que sugiere que las redes entrenadas desarrollan representaciones más eficientes pero más desordenadas.