셀프 증류 추론으로 Amazon Nova 미세 조정

지도 미세 조정(SFT)으로 모델을 파인튜닝할 때, 고품질의 체인-오브-소트(CoT) 추론 과정을 생성하는 것은 종종 비현실적입니다. 추론 과정이 없으면 모델은 추론 억제 문제로 인해 추론 능력을 잃을 수 있습니다. 아마존은 자기 증류 추론(SDR)을 제안하며, 이 방법은 베이스 아마존 노바 2 라이트 모델을 사용하여 각 SFT 예제에 대한 추론 과정을 생성한 후, 이를 원래 출력 앞에 추가하고 추론 모드로 파인튜닝합니다. SDR은 인간의 주석이 필요 없으며, 모든 도메인에 적용 가능하고, 모델 병합보다 더 효과적으로 추론 능력을 보존합니다. ToolACE, CoCoHD, GovReport, Invoice-OCR, CaptionGen과 같은 벤치마크 실험에서 SDR은 파국적 망각을 완화하고, 수학 성능을 유지하며(70% 대 모델 병합 68%), 평균적으로 목표 성능을 6.5% 이상 향상시킵니다.