Hayal Gören Derleyici: Programları Doğrudan Sinir Ağı Ağırlıklarına Derlemek

Bir derleyici geleneksel olarak üst düzey kodu belirli donanıma uyarlanmış ilkel makine talimatlarına çevirir. Buna karşılık, yeni bir paradigma sinir ağlarını hedef mimari olarak ele alır: RASP gibi özel bir dilde yazılan programlar, eğitim olmaksızın deterministik olarak doğrudan ağırlıklara derlenir. 2021'de Gail Weiss, Yoav Goldberg ve Eran Yahav tarafından tanıtılan RASP, transformatörlerin dikkat ve ileri besleme mekanizmalarını yansıtan iki ana yapı sağlar: seçme (select) ve birleştirme (aggregate). 2023'te DeepMind, RASP programlarını alıp transformatör ağırlıklarını üreten Tracr derleyicisini uyguladı; bu derleyici artık akışını (residual stream) bellek olarak kullanır ve değişkenler için ayrık bölümler tahsis eder. Bu derlenmiş modeller tamamen yorumlanabilirdir: her değişkenin konumu ve her katmanın işlevi bilinir. Temel motivasyon, yorumlanabilirlik araştırması için temel doğru modeller oluşturmak ve analiz araçları için kalibrasyon standartları sağlamaktır. Dikkate değer bir bulgu, Tracr'ın basit değişken tahsisinin gerçek ağlarla karşılaştırıldığında israf olduğudur; gerçek ağlar bilgiyi yoğun şekilde örtüşür, bu da eğitilmiş ağların daha verimli ancak daha dağınık temsiller geliştirdiğini gösterir.