أوبن دريمر: تطبيق مفتوح المصدر لخط أنابيب دريمر 4 في JAX/Flax مع وصفة تدريب كاملة
أصدر فريق من الباحثين في مجال الذكاء الاصطناعي أوبن دريمر، وهو تطبيق مفتوح المصدر لخط أنابيب دريمر 4 للنمذجة العالمية، مبني باستخدام JAX و Flax NNX. يتضمن المشروع خط أنابيب تدريب، وأداة استدلال محلية، وعرضًا توضيحيًا في المتصفح يولد عالم ماينكرافت في الوقت الفعلي. يستخدم النموذج محولًا سببيًا كتليًا، ويصل إلى استفادة تصل إلى 57-58% من عمليات النموذج، ويؤكد الفريق أن الاستقرار كان التحدي الرئيسي، وليس الإنتاجية.
باحثون فرانشيسكو ساكو ودييغو مارتي وإدوارد هو، برعاية من Reactor، أصدرا Open Dreamer، وهو تطبيق مفتوح المصدر لـ Dreamer 4 في إطار JAX/Flax NNX. تم إصدار مستودعين: واحد للتدريب (tokenizer، نموذج الديناميكيات، التمرير، تسجيل FVD) وآخر للاستدلال المحلي. يوفر عرض توضيحي في المتصفح بثًا لعالم Minecraft تم إنشاؤه ويسمح بالتبديل بين اللعبة الحقيقية ونموذج العالم. تستخدم البنية محولًا أساسيًا ذا سببية كتلية لكل من الـ tokenizer ونموذج الديناميكيات. الـ tokenizer هو مُشفر ذاتي مقنع قائم على المحول يحقق ضغطًا بنسبة 100× تقريبًا بدون خسارة KL أو خسارة خصومية. نموذج الديناميكيات (1.6 مليار معلمة) يقوم بالتنبؤ بالإطار التالي باستخدام الدفع الانتشار، ومطابقة التدفق، والنماذج المختصرة، ويتنبأ أيضًا بالإجراء التالي. يستغرق التدريب 200,000 خطوة باستخدام محسِّن Muon، وجدول WSD، ومعدل تعلم ذروة 3e-4، واضمحلال EMA بقيمة 0.999. حقق الفريق استخدامًا يتراوح بين 57-58% من FLOPs النموذج على وحدات معالجة رسومية B200، مع ملاءمة حالة النموذج في حوالي 24 جيبيبايت. التفعيلات كانت التكلفة الرئيسية للذاكرة، وتم حلها عن طريق التوازي في البيانات ونقاط تدقيق التفعيل. كانت مشكلات الاستقرار أكبر التحديات؛ ستة إصلاحات تشمل محسِّن Muon، أوزان EMA الإجبارية، الدقة المختلطة الدقيقة، ترجيح خسارة v-space، النقل المثلى الوسطي المصغر، وتقليل أهمية تمييز μ-parametrization. لا يتضمن المستودع حلقة تدريب تقليد السلوك أو التعلم التعزيزي، ولم يتم نشر درجات FVD.
المصدر: MarkTechPost —
الأصلي