Self-Distilled Reasoning ile Amazon Nova İnce Ayarı
Amazon Web Services
Amazon, zincir-düşünce izleri eksik olduğunda denetimli ince ayar (SFT) için bu izleri oluşturmak amacıyla self-distilled reasoning (SDR) yaklaşımını araştırıyor. SDR, temel Amazon Nova 2 Lite modelinin kendi muhakemesini yeniden kullanarak yıkıcı unutmayı hafifletiyor ve insan etiketlemesi olmadan hedef performansı iyileştiriyor.
Bir modeli denetimli ince ayar (SFT) ile ince ayar yaparken, yüksek kaliteli düşünce zinciri (CoT) akıl yürütme izleri oluşturmak çoğu zaman pratik değildir. Akıl yürütme izleri olmadan model, akıl yürütme baskılama sorunu nedeniyle akıl yürütme yeteneğini kaybedebilir. Amazon, her SFT örneği için akıl yürütme izleri oluşturmak üzere temel Amazon Nova 2 Lite modelini kullanan ve ardından bunları orijinal çıktılara ekleyip akıl yürütme modunda ince ayar yapan Self-Distilled Reasoning (SDR) adlı bir yöntem önermektedir. SDR, herhangi bir insan açıklaması gerektirmez, alanlar arası uygulanabilir ve akıl yürütme yeteneğini model birleştirmeden daha etkili bir şekilde korur. ToolACE, CoCoHD, GovReport, Invoice-OCR ve CaptionGen gibi kıyaslamalarda yapılan deneyler, SDR'nin felaketle sonuçlanan unutmayı azalttığını, matematik performansını koruduğunu (model birleştirme ile %68'e karşı %70) ve hedef performansı ortalama %6,5'ten fazla iyileştirdiğini göstermektedir.
Kaynak: AWS ML blog —
orijinal