Yelp lanceert Training Orchestrator voor uniform beheer van machine learning-modeltraining

Yelp heeft Training Orchestrator onthuld, een nieuw intern framework dat de onafhankelijk geschreven Spark-trainingsscripts vervangt die door verschillende teams werden gebruikt. Voorheen creëerde elk toegepast machine learning-team zijn eigen orkestratie, wat leidde tot codeduplicatie, inconsistente configuraties en kwetsbare, op maat gemaakte monitoring. Training Orchestrator scheidt 'wat te draaien' van 'hoe te draaien' met behulp van op Pydantic gebaseerde configuratieobjecten, die bij aanmaak worden gevalideerd om verspilde rekenkracht te voorkomen. Het bouwt een gerichte acyclische graaf (DAG) op basis van gedeclareerde stapafhankelijkheden en voert stappen uit in topologische volgorde. Gedeelde Spark/MLflow-context maakt het mogelijk dat stappen ongewijzigd draaien in lokale, Jupyter- of productieomgevingen. Schemavalidatie detecteert mismatches in seconden, en volledige draaiconfiguraties worden vastgelegd als MLflow-artefacten voor reproduceerbaarheid. Het framework integreert met Yelp's ML-platform, inclusief feature stores, gedeelde neurale netwerken, gradient boosting-bibliotheken en MLflow. Yelp is van plan expliciete stappen toe te voegen voor modelevaluatie, -vergelijking en -uitleg, evenals lineage tracking. De op DAG gebaseerde aanpak ontkoppelt trainingslogica van cluster runtime, ondersteunt lokale runs en unittesten. Yelp erkent dat er een initiële investering nodig is in schema's en migratie, maar gelooft dat dit herhaalde kosten tussen teams voorkomt.