自己蒸留推論によるAmazon Novaファインチューニング

教師ありファインチューニング（SFT）でモデルをチューニングする際、高品質なChain-of-Thought（CoT、連鎖思考）推論トレースを作成することは、しばしば非現実的です。推論トレースがないと、モデルは推論抑制問題により推論能力を失う可能性があります。Amazonは自己蒸留推論（SDR）を提案します。これは、ベースとなるAmazon Nova 2 Liteモデルを使用して各SFTサンプルの推論トレースを生成し、それらを元の出力の前に付加して推論モードでファインチューニングする手法です。SDRは人間によるアノテーションを必要とせず、ドメインを問わず適用可能で、モデルマージよりも効果的に推論能力を保持します。ToolACE、CoCoHD、GovReport、Invoice-OCR、CaptionGenなどのベンチマークでの実験では、SDRが破滅的忘却を軽減し、数学性能を維持し（モデルマージの68%に対して70%）、ターゲット性能を平均6.5%以上向上させることが示されています。