Auto-Distillation du Raisonnement pour le Fine-Tuning d'Amazon Nova
Amazon a introduit la méthode d'Auto-Distillation du Raisonnement (SDR) pour le fine-tuning supervisé (SFT) des modèles Amazon Nova 2. SDR génère des chemins de raisonnement de chaîne de pensée (CoT) pour les ensembles de données qui en sont dépourvus, en utilisant le modèle lui-même. Cela résout le problème de la suppression du raisonnement et réduit l'oubli catastrophique, améliorant ainsi les performances cibles tout en conservant les capacités générales.
Amazon Web Services



