Трейс — учитель: дистилляция рассуждений в малые модели
Meta
Метод обучения, при котором большая модель оставляет «след» (trace) своих рассуждений, а малая модель учится по этим следам, позволяет перенести способность к логическим выводам в компактные нейросети.
В выпуске The Sequence Knowledge #898 обсуждается метод, названный «Трейс — учитель» (The Trace Is the Teacher). Суть подхода в том, что большая языковая модель при решении задачи генерирует не только ответ, но и цепочку промежуточных рассуждений — трейс (trace). Этот трейс затем используется как обучающий сигнал для маленькой модели, которая учится воспроизводить не просто финальный ответ, а
Показать ещё ↓
Источник: Meta AI (GNews) —
оригинал