Yelp ने प्रशिक्षण ऑर्केस्ट्रेटर लॉन्च किया: मशीन लर्निंग मॉडल प्रशिक्षण के एकीकृत प्रबंधन के लिए

Yelp ने Training Orchestrator का अनावरण किया है, जो एक नया आंतरिक ढांचा है जो विभिन्न टीमों द्वारा उपयोग किए जाने वाले स्वतंत्र रूप से लिखे गए Spark प्रशिक्षण स्क्रिप्ट्स को प्रतिस्थापित करता है। पहले, प्रत्येक अनुप्रयुक्त मशीन लर्निंग टीम अपना स्वयं का ऑर्केस्ट्रेशन बनाती थी, जिससे कोड की नकल, असंगत कॉन्फ़िगरेशन और नाजुक कस्टम निगरानी होती थी। Training Orchestrator Pydantic-आधारित कॉन्फ़िगरेशन ऑब्जेक्ट का उपयोग करके 'क्या चलाना है' को 'कैसे चलाना है' से अलग करता है, जो निर्माण के समय मान्य होते हैं ताकि बर्बाद कंप्यूट से बचा जा सके। यह घोषित चरण निर्भरता से एक निर्देशित अचक्रीय ग्राफ (डीएजी) बनाता है और चरणों को टोपोलॉजिकल क्रम में निष्पादित करता है। साझा Spark/MLflow संदर्भ चरणों को स्थानीय, Jupyter या उत्पादन वातावरण में बिना बदले चलाने की अनुमति देता है। स्कीमा सत्यापन सेकंडों में बेमेल पकड़ लेता है, और पूर्ण रन कॉन्फ़िगरेशन को प्रतिलिपिकरणीयता के लिए MLflow आर्टिफैक्ट के रूप में लॉग किया जाता है। यह ढांचा Yelp के ML प्लेटफॉर्म के साथ एकीकृत होता है, जिसमें फीचर स्टोर, साझा तंत्रिका नेटवर्क, ग्रेडिएंट बूस्टिंग लाइब्रेरी और MLflow शामिल हैं। Yelp मॉडल मूल्यांकन, तुलना और स्पष्टीकरण के साथ-साथ वंशानुक्रम ट्रैकिंग के लिए स्पष्ट चरण जोड़ने की योजना बना रहा है। डीएजी-आधारित दृष्टिकोण प्रशिक्षण तर्क को क्लस्टर रनटाइम से अलग करता है, स्थानीय रन और यूनिट परीक्षणों का समर्थन करता है। Yelp स्कीमा और माइग्रेशन में अग्रिम निवेश को स्वीकार करता है लेकिन मानता है कि यह टीमों में बार-बार होने वाली लागतों से बचाता है।