Trình biên dịch ảo giác: Biên dịch chương trình trực tiếp thành trọng số mạng nơ-ron

Một trình biên dịch (compiler) theo truyền thống sẽ dịch mã nguồn cấp cao thành các chỉ thị máy nguyên thủy được thiết kế riêng cho phần cứng cụ thể. Ngược lại, một mô hình mới lại coi mạng nơ-ron (neural network) chính là kiến trúc đích: các chương trình được viết bằng một ngôn ngữ chuyên biệt như RASP được biên dịch trực tiếp thành các trọng số (weights), một cách tất định và không cần huấn luyện. RASP, được Gail Weiss, Yoav Goldberg và Eran Yahav giới thiệu vào năm 2021, cung cấp hai cấu trúc chính—select (chọn) và aggregate (tổng hợp)—phản ánh các cơ chế attention (chú ý) và feed-forward (truyền thẳng) của transformer. Năm 2023, DeepMind đã hiện thực hóa trình biên dịch Tracr, nhận đầu vào là các chương trình RASP và xuất ra trọng số transformer, sử dụng luồng dư (residual stream) làm bộ nhớ và cấp phát các khối tách biệt cho từng biến. Những mô hình được biên dịch theo cách này hoàn toàn có thể diễn giải được: vị trí của mỗi biến và chức năng của từng lớp đều được biết rõ. Động lực chính của hướng tiếp cận này là tạo ra các mô hình chuẩn đối chiếu (ground-truth models) phục vụ nghiên cứu về khả năng diễn giải (interpretability), đóng vai trò như tiêu chuẩn hiệu chuẩn cho các công cụ phân tích. Một phát hiện đáng chú ý là cách cấp phát biến đơn giản của Tracr lại lãng phí hơn nhiều so với các mạng thực tế, vốn chồng lấp thông tin một cách dày đặc, cho thấy rằng các mạng đã qua huấn luyện phát triển những cách biểu diễn hiệu quả hơn nhưng cũng lộn xộn hơn.