بناء نموذج محول لغوي كبير خاص بك يشبه GPT من أجمل Warhammer 40K من الصفر. الجزء الرابع: الضبط الدقيق الموجه على أسئلة وأجوبة

يصف المقال مرحلة الضبط الدقيق المُوجّه (SFT) لتدريب نموذج لغوي صغير من نوع الترميز فقط (decoder-only LLM) على معلومات عالم Warhammer 40K. بعد التدريب المُسبق، يمكن للنموذج الأساسي مواصلة النص ولكنه لا يستطيع الإجابة على الأسئلة. يجمع المؤلف أزواجًا من الأسئلة والإجابات من المنتديات والمقالات والبيانات الاصطناعية، ثم يبني مجموعة بيانات ChatQADataset تُخفّض الخسارة فقط على رموز المساعد. يتم تمديد المُرمّز (tokenizer) برموز خاصة <|user|> و <|assistant|>. يتم تغيير حجم طبقات التضمين والإخراج للنموذج لاستيعاب الرموز الجديدة. يستخدم الضبط الدقيق معدل تعلم أقل (1e-5) ويستغرق حوالي 20 دقيقة. على الرغم من انخفاض الخسارة من 3.7 إلى 2.1، يُلاحظ المؤلف فرط التجهيز (overfitting) ويوصي باختيار نقاط التحقق بناءً على جودة التوليد. تُظهر المقارنة أن النموذج الأساسي يُنتج نصًا يشبه الحوار بينما يحاول النموذج المُضبوط بدقة الإجابة على السؤال.