الاستدلال المسبق (Prompt)، أو استرجاع البيانات المعزز (RAG)، أو الضبط الدقيق: ما الذي يجعل نموذج اللغة الكبير (LLM) يتعلم بالفعل

سيرجي بروشايف، وهو قائد تقني في مجال التكنولوجيا المالية والتجارة الإلكترونية، أجرى تجربة لمقارنة ثلاث طرق لتعليم نموذج لغوي محلي معرفة خاصة بمجال معين: التلقين مع السياق، وتوليد الاسترجاع المعزز (RAG)، والضبط الدقيق باستخدام QLoRA. استخدم نموذج Qwen3-8B وبطاقة رسوميات واحدة RTX 4090 بسعة 24 جيجابايت من الذاكرة العشوائية. كان المجال هو الوثائق الداخلية للدفع: حوالي 120 صفحة من اللوائح، بما في ذلك رموز استجابة المكتسب، وقواعد إعادة المحاولة، وتوجيه المدفوعات، والحدود، والاستثناءات. أنشأ 30 سؤالاً من ثلاثة أنواع: حقائقي، وتركيبي (يتطلب توليفاً عبر الأقسام)، وتنسيقي (باتباع قالب تقرير الحوادث الداخلي). بالنسبة للتلقين، وضع اللائحة بأكملها في السياق (128 ألف رمز) وحصل على 20 إجابة صحيحة إجمالاً، لكنه عانى من مشكلة "الضياع في المنتصف" وزمن الاستجابة المرتفع. بالنسبة لـ RAG، استخدم تقسيم النص (500 رمز مع تداخل)، وتضمينات BAAI/bge-m3، وقاعدة بيانات Qdrant المتجهية، مع استرجاع أفضل 5 أجزاء. حقق RAG نسبة 9/10 في الأسئلة الحقائقية وقدم مراجع للمصادر، لكنه فشل في الأسئلة التركيبية ولم يتمكن من تعلم المصطلحات الداخلية. بالنسبة لـ QLoRA، أنشأ حوالي 800 زوج سؤال وجواب باستخدام نموذج أقوى، ونظفها يدوياً، ودرب محول LoRA لمدة 40 دقيقة تقريباً. تفوق النموذج المضبوط بدقة في الأسئلة التنسيقية (10/10) وحسن الأداء في الأسئلة التركيبية (8/10)، لكنه فشل في الحقائق المحدثة، حيث أجاب بحدود قديمة من مجموعة البيانات. يخلص المؤلف إلى أن هذه الأساليب ليست منافسة بل طبقات: ابدأ بالتلقين، ثم أضف RAG للدقة الحقائقية ومراجع المصادر، واستخدم الضبط الدقيق عندما تحتاج النموذج إلى تبني أسلوب أو مصطلحات محددة. كما تذكر الدراسة أن Unsloth Studio و H2O LLM Studio توفران ضبطاً دقيقاً بواجهة رسومية، وأظهر بحث LoRA Land من Predibase أن النماذج المضبوطة بدقة يمكن أن تتفوق على GPT-4 في المهام الضيقة.