Yelp startet Training Orchestrator für einheitliches Management des Modelltrainings

Yelp hat Training Orchestrator vorgestellt, ein neues internes Framework, das die von verschiedenen Teams verwendeten unabhängig geschriebenen Spark-Trainingsskripte ersetzt. Bisher erstellte jedes angewandte maschinelle Lernteam seine eigene Orchestrierung, was zu Code-Duplikation, inkonsistenten Konfigurationen und fragwürdigem benutzerdefiniertem Monitoring führte. Training Orchestrator trennt das „Was ausgeführt wird“ vom „Wie es ausgeführt wird“, indem es Pydantic-basierte Konfigurationsobjekte verwendet, die zum Zeitpunkt der Erstellung validiert werden, um verschwendete Rechenleistung zu vermeiden. Es erstellt einen gerichteten azyklischen Graphen (Englisch: directed acyclic graph, DAG) aus deklarierten Schrittabhängigkeiten und führt die Schritte in topologischer Reihenfolge aus. Ein gemeinsamer Spark- und MLflow-Kontext ermöglicht es, Schritte unverändert in lokalen, Jupyter- oder Produktionsumgebungen auszuführen. Die Schema-Validierung erkennt Fehlanpassungen in Sekunden, und vollständige Ausführungskonfigurationen werden als MLflow-Artefakte protokolliert, um die Reproduzierbarkeit zu gewährleisten. Das Framework ist in Yelps ML-Plattform integriert, einschließlich Feature Stores, gemeinsamer neuronaler Netze, Gradient-Boosting-Bibliotheken und MLflow. Yelp plant, explizite Schritte für Modellbewertung, -vergleich und -erklärung sowie Nachverfolgung der Herkunft hinzuzufügen. Der DAG-basierte Ansatz entkoppelt die Trainingslogik von der Cluster-Laufzeit und unterstützt lokale Ausführungen und Komponententests. Yelp räumt ein, dass anfängliche Investitionen in Schemata und Migration erforderlich sind, glaubt jedoch, dass damit wiederholte Kosten über Teams hinweg vermieden werden.