İz Olarak Öğretmen: Küçük Modellere Akıl Yürütme Aktarımı
Meta
Büyük bir modelin akıl yürütme izini bıraktığı ve küçük bir modelin bu izlerden öğrendiği bir eğitim yöntemi, mantıksal akıl yürütme yeteneğinin kompakt sinir ağlarına aktarılmasını sağlar.
The Sequence Knowledge #898 sayısında 'The Trace Is the Teacher' adlı bir yöntem ele alınıyor. Yaklaşımın özü şu: büyük bir dil modeli bir problemi çözerken yalnızca bir cevap değil, aynı zamanda bir dizi ara mantık adımı yani bir iz (trace) üretir. Bu iz daha sonra küçük bir model için eğitim sinyali olarak kullanılır; model yalnızca nihai cevabı değil, tüm düşünce sürecini yeniden üretmeyi öğrenir. Bu şekilde, kompakt bir sinir ağı, tipik olarak yalnızca büyük modellerde bulunan akıl yürütme yeteneğini kazanır. Yöntem bilgi damıtma (knowledge distillation) alanına aittir ve mantıksal çıkarım kalitesinden ödün vermeden model boyutunda önemli bir azalmaya olanak tanır.
Kaynak: Meta AI (GNews) —
orijinal