Гейл Вайс, Йоавом Гольдбергом и Эраном Яхавом, предоставляет две основные конструкции — select и aggregate, которые отражают механизмы внимания и прямого распространения в трансформерах. В 2023 году DeepMind реализовала компилятор Tracr, который принимает программы на RASP и выдает веса трансформера, используя остаточный поток в качестве памяти и выделяя непересекающиеся сегменты для переменных. Эти скомпилированные модели полностью интерпретируемы: известно расположение каждой переменной и функция каждого слоя. Основная мотивация заключается в создании эталонных моделей для исследований интерпретируемости, служащих калибровочным стандартом для инструментов анализа. Примечательный вывод состоит в том, что прямое распределение переменных в Tracr является расточительным по сравнению с реальными сетями, которые плотно перекрывают информацию, что позволяет предположить, что обученные сети развивают более эффективные, но более запутанные представления.