O Compilador que Alucina: Compilando Programas Diretamente em Pesos de Redes Neurais

Um compilador tradicionalmente traduz código de alto nível em instruções de máquina primitivas, adaptadas a hardware específico. Em contraste, um novo paradigma trata as redes neurais como a arquitetura alvo: programas escritos em uma linguagem especializada, como RASP, são compilados diretamente em pesos, de forma determinística e sem treinamento. RASP, introduzida em 2021 por Gail Weiss, Yoav Goldberg e Eran Yahav, fornece duas construções principais — select e aggregate — espelhando os mecanismos de atenção e feed-forward dos transformers. Em 2023, a DeepMind implementou o compilador Tracr, que recebe programas RASP e gera pesos de transformer, usando o fluxo residual como memória e alocando blocos disjuntos para variáveis. Esses modelos compilados são totalmente interpretáveis: a localização de cada variável e a função de cada camada são conhecidas. A principal motivação é criar modelos de referência para pesquisa em interpretabilidade, servindo como padrões de calibração para ferramentas de análise. Uma descoberta notável é que a alocação direta de variáveis do Tracr é ineficiente em comparação com redes reais, que sobrepõem informações de forma densa, sugerindo que redes treinadas desenvolvem representações mais eficientes, porém mais confusas.