Self-Distilled Reasoning für das Feintuning von Amazon Nova
Amazon hat die Self-Distilled Reasoning (SDR)-Methode für das überwachte Feintuning (Supervised Fine-Tuning, SFT) der Amazon Nova 2 Modelle eingeführt. SDR generiert Chain-of-Thought (CoT)-Denkpfade für Datensätze, die diese nicht enthalten, und nutzt dabei das Modell selbst. Dies adressiert das Problem der Denkunterdrückung und reduziert katastrophales Vergessen, wodurch die Zielleistung verbessert wird, während allgemeine Fähigkeiten erhalten bleiben.
Amazon Web Services



