التتبع كمعلم: تقطير التفكير في النماذج الصغيرة

يتناول العدد رقم 898 من The Sequence Knowledge طريقة تُعرف باسم "The Trace Is the Teacher" (الأثر هو المعلّم). وتكمن جوهر هذا النهج في أن النموذج اللغوي الكبير، عند حلّه لمسألة ما، لا يكتفي بتوليد الإجابة النهائية فحسب، بل يُنتج أيضًا سلسلة من خطوات الاستدلال الوسيطة، أي ما يُسمى بـ"الأثر" (trace). ويُستخدم هذا الأثر بعد ذلك كإشارة تدريب لنموذج صغير، بحيث لا يتعلم هذا الأخير مجرد إعادة إنتاج الإجابة النهائية، بل يستوعب عملية التفكير بأكملها. وبهذه الطريقة، تكتسب الشبكة العصبية المدمجة قدرة الاستدلال المنطقي التي عادةً ما تكون حكرًا على النماذج الكبيرة. وتندرج هذه الطريقة ضمن مجال تقطير المعرفة (knowledge distillation)، وهي تتيح تقليصًا كبيرًا في حجم النموذج دون التضحية بجودة الاستدلال المنطقي.