بناء نماذج LLM من الصفر: دورة كاملة من سيباستيان راشكا

أصدر سيباستيان راشكا، مؤلف كتاب "بناء نموذج لغة كبير من الصفر"، دورة تدريبية موسعة حول بناء نموذج لغة كبير من الصفر، تتكون من عدة فيديوهات يبلغ مجموع مدتها حوالي 15 ساعة. تبدأ الدورة بإعداد بيئة التطوير باستخدام uv، ثم تتناول العمل مع البيانات النصية، بما في ذلك الترميز، وترميز أزواج البايت (BPE)، ومحمّلات البيانات. بعد ذلك، تشرح كيفية برمجة آليات الانتباه (الانتباه الذاتي، والانتباه السببي، والانتباه متعدد الرؤوس) من الصفر، متبوعة بعرض بناء بنية نموذج اللغة الكبير. تعرض الدورة أيضًا التدريب المسبق للنموذج على بيانات غير مُعلَّمة، والضبط الدقيق للتصنيف (باستخدام البريد العشوائي كمثال)، والضبط الدقيق للتعليمات. كمكافأة للمشتركين المدفوعين، يتوفر فيديو غير تقني مدته 2.5 ساعة، يناقش مشهد نماذج اللغة الكبيرة في عام 2025 والتغييرات منذ عام 2018. يلاحظ راشكا أن بناء نموذج لغة كبير من الصفر هو أفضل طريقة لفهم كيفية عمله، مستشهدًا بتشبيه تجميع سيارة سباق بدءًا من عربة كارت. تم إنشاء الفيديوهات في الأصل كمواد تكميلية للكتاب، ولكنها تعمل أيضًا كمحتوى قائم بذاته.