Yelp lance Training Orchestrator pour la gestion unifiée de l'entraînement des modèles de machine learning

Yelp a dévoilé Training Orchestrator, un nouveau cadre interne qui remplace les scripts d'entraînement Spark écrits indépendamment par différentes équipes. Auparavant, chaque équipe d'apprentissage automatique appliqué créait sa propre orchestration, entraînant une duplication de code, des configurations incohérentes et une surveillance personnalisée fragile. Training Orchestrator sépare le « quoi exécuter » du « comment exécuter » en utilisant des objets de configuration basés sur Pydantic, validés au moment de la création pour éviter du calcul gaspillé. Il construit un graphe orienté acyclique à partir des dépendances d'étapes déclarées et exécute les étapes dans l'ordre topologique. Un contexte Spark/MLflow partagé permet aux étapes de s'exécuter sans modification dans des environnements locaux, Jupyter ou de production. La validation de schéma détecte les incohérences en secondes, et les configurations d'exécution complètes sont enregistrées comme artefacts MLflow pour la reproductibilité. Le cadre s'intègre à la plateforme ML de Yelp, notamment les magasins de caractéristiques, les réseaux neuronaux partagés, les bibliothèques de boosting par gradient et MLflow. Yelp prévoit d'ajouter des étapes explicites pour l'évaluation, la comparaison et l'explication des modèles, ainsi que le suivi de la lignée. L'approche basée sur les graphes orientés acycliques dissocie la logique d'entraînement de l'environnement d'exécution du cluster, prenant en charge les exécutions locales et les tests unitaires. Yelp reconnaît un investissement initial dans les schémas et la migration, mais estime qu'il évite des coûts répétés entre les équipes.