추적을 교사 삼아: 소형 모델로 추론 능력 증류하기

Sequence Knowledge #898호에서는 "흔적이 곧 교사(The Trace Is the Teacher)"라는 방법을 논의합니다. 이 접근법의 핵심은 대규모 언어 모델이 문제를 해결할 때 답변뿐만 아니라 중간 추론 단계의 체인, 즉 흔적(trace)을 생성한다는 것입니다. 이 흔적은 소규모 모델의 훈련 신호로 사용되며, 소규모 모델은 최종 답변뿐만 아니라 전체 사고 과정을 재현하는 법을 배웁니다. 이렇게 하여 작은 신경망이 대규모 모델에만 일반적으로 내재된 추론 능력을 획득합니다. 이 방법은 지식 증류(knowledge distillation) 분야에 속하며, 논리적 추론의 질을 희생하지 않고 모델 크기를 크게 줄일 수 있습니다.