Kompilator yang Berhalusinasi: Mengompilasi Program Langsung ke dalam Bobot Jaringan Saraf

Kompiler secara tradisional menerjemahkan kode tingkat tinggi menjadi instruksi mesin primitif yang disesuaikan dengan perangkat keras tertentu. Sebaliknya, paradigma baru memperlakukan jaringan saraf sebagai arsitektur target: program yang ditulis dalam bahasa khusus seperti RASP dikompilasi langsung menjadi bobot, secara deterministik dan tanpa pelatihan. RASP, yang diperkenalkan pada tahun 2021 oleh Gail Weiss, Yoav Goldberg, dan Eran Yahav, menyediakan dua konstruksi utama—select dan aggregate—yang mencerminkan mekanisme attention dan feed-forward dari transformer. Pada tahun 2023, DeepMind mengimplementasikan kompiler Tracr, yang mengambil program RASP dan menghasilkan bobot transformer, menggunakan aliran residual sebagai memori dan mengalokasikan potongan yang tidak tumpang tindih untuk variabel. Model hasil kompilasi ini sepenuhnya dapat diinterpretasikan: lokasi setiap variabel dan fungsi setiap lapisan diketahui. Motivasi utamanya adalah untuk menciptakan model ground-truth untuk penelitian interpretabilitas, berfungsi sebagai standar kalibrasi untuk alat analisis. Temuan yang menonjol adalah bahwa alokasi variabel yang sederhana dari Tracr boros dibandingkan dengan jaringan nyata, yang menumpuk informasi secara padat, menunjukkan bahwa jaringan yang dilatih mengembangkan representasi yang lebih efisien tetapi lebih berantakan.