भ्रमित करने वाला कंपाइलर: प्रोग्राम्स को सीधे न्यूरल नेटवर्क वेट्स में बदलना

एक कंपाइलर परंपरागत रूप से उच्च-स्तरीय कोड को विशिष्ट हार्डवेयर के लिए तैयार की गई प्रारंभिक मशीन निर्देशों में अनुवादित करता है। इसके विपरीत, एक नया प्रतिमान तंत्रिका नेटवर्क को लक्ष्य वास्तुकला के रूप में मानता है: RASP जैसी विशेष भाषा में लिखे गए प्रोग्राम सीधे वजन में संकलित होते हैं, नियतात्मक रूप से और बिना प्रशिक्षण के। RASP, जिसे 2021 में गेल वेइस, योआव गोल्डबर्ग और एरान याहव द्वारा पेश किया गया था, दो मुख्य निर्माण प्रदान करता है—select और aggregate—जो ट्रांसफॉर्मर के ध्यान और फीड-फॉरवर्ड तंत्र को दर्शाते हैं। 2023 में, DeepMind ने Tracr कंपाइलर लागू किया, जो RASP प्रोग्राम लेता है और ट्रांसफॉर्मर वजन आउटपुट करता है, अवशिष्ट स्ट्रीम को मेमोरी के रूप में उपयोग करता है और चर के लिए असंबद्ध खंड आवंटित करता है। ये संकलित मॉडल पूरी तरह से व्याख्या योग्य हैं: हर चर का स्थान और प्रत्येक परत का कार्य ज्ञात होता है। प्राथमिक प्रेरणा व्याख्यात्मकता अनुसंधान के लिए ग्राउंड-ट्रुथ मॉडल बनाना है, जो विश्लेषण उपकरणों के लिए अंशांकन मानकों के रूप में कार्य करते हैं। एक उल्लेखनीय खोज यह है कि Tracr का सीधा चर आवंटन वास्तविक नेटवर्क की तुलना में अपव्ययी है, जो जानकारी को घनी रूप से ओवरलैप करते हैं, यह सुझाव देते हुए कि प्रशिक्षित नेटवर्क अधिक कुशल लेकिन अधिक गड़बड़ प्रतिनिधित्व विकसित करते हैं।