환각을 일으키는 컴파일러: 프로그램을 신경망 가중치로 직접 컴파일하다

컴파일러는 전통적으로 고수준 코드를 특정 하드웨어에 맞춘 기본 기계어 명령으로 변환하는 역할을 한다. 이와 대조적으로, 새로운 패러다임은 신경망 자체를 목표 아키텍처로 다룬다. 즉, RASP(Restricted Access Sequence Processing)와 같은 특수 언어로 작성된 프로그램을 훈련 과정 없이 결정론적으로 곧바로 가중치로 컴파일하는 방식이다. RASP는 2021년 Gail Weiss, Yoav Goldberg, Eran Yahav가 도입한 언어로, select와 aggregate라는 두 가지 핵심 구성 요소를 제공하며, 이는 트랜스포머의 어텐션(attention) 메커니즘과 피드포워드(feed-forward) 메커니즘을 반영한다. 2023년 DeepMind는 RASP 프로그램을 입력받아 트랜스포머 가중치를 출력하는 Tracr 컴파일러를 구현했는데, 이 컴파일러는 잔차 스트림(residual stream)을 메모리로 활용하고 변수마다 서로 겹치지 않는 별도의 구획을 할당한다. 이렇게 컴파일된 모델은 완전히 해석 가능하다. 즉, 모든 변수의 위치와 각 계층의 기능이 명확히 알려져 있다. 이 접근의 주된 목적은 해석 가능성 연구를 위한 정답(ground-truth) 모델을 만들어, 분석 도구들의 검증 기준으로 활용하는 것이다. 특히 주목할 만한 발견은, Tracr가 사용하는 단순한 변수 할당 방식이 실제 신경망에 비해 비효율적이라는 점이다. 실제 신경망은 정보를 밀집된 형태로 겹쳐서 표현하는데, 이는 훈련된 신경망이 더 효율적이지만 그만큼 더 뒤섞이고 복잡한 표현 방식을 발전시킨다는 것을 시사한다.