Yelp تطلق أوركسترا التدريب للإدارة الموحدة لتدريب نماذج التعلم الآلي

أعلنت يلب عن إطار عمل داخلي جديد يُدعى Training Orchestrator، وهو يحل محل نصوص سبارك التدريبية التي كانت تُكتب بشكل مستقل من قبل الفرق المختلفة. في السابق، كان كل فريق من فرق التعلم الآلي التطبيقي يُنشئ نظام تنسيق خاص به، مما أدى إلى تكرار الكود، وتناقض في الإعدادات، ومراقبة مخصصة وهشة. يفصل Training Orchestrator بين "ما يجب تشغيله" و"كيفية تشغيله" باستخدام كائنات تهيئة قائمة على Pydantic، والتي يتم التحقق من صحتها عند الإنشاء لتجنب إهدار الموارد الحاسوبية. يقوم ببناء رسم بياني موجه غير دوري (DAG) من التبعيات المعلنة للخطوات وينفذ الخطوات بترتيب طوبولوجي. يسمح السياق المشترك بين Spark وMLflow بتنفيذ الخطوات دون تغيير في البيئات المحلية أو Jupyter أو الإنتاج. يكتشف التحقق من صحة المخطط (schema) التناقضات في ثوانٍ، ويتم تسجيل إعدادات التشغيل الكاملة كقطع أثرية في MLflow لضمان قابلية إعادة الإنتاج. يتكامل الإطار مع منصة يلب للتعلم الآلي، بما في ذلك مخازن الميزات، والشبكات العصبية المشتركة، ومكتبات تعزيز التدرج، وMLflow. تخطط يلب لإضافة خطوات صريحة لتقييم النموذج والمقارنة والشرح، بالإضافة إلى تتبع السلالة. يعمل النهج القائم على DAG على فصل منطق التدريب عن بيئة تشغيل العنقود، مما يدعم التشغيل المحلي واختبارات الوحدة. تعترف يلب بالاستثمار المسبق في المخططات والترحيل، لكنها تعتقد أنه يتجنب تكرار التكاليف عبر الفرق.