Yelp Lança Orquestrador de Treinamento para Gestão Unificada do Treinamento de Modelos de Aprendizado de Máquina

Yelp apresentou o Training Orchestrator, um novo framework interno que substitui os scripts de treinamento Spark escritos de forma independente por várias equipes. Anteriormente, cada equipe de aprendizado de máquina aplicado criava sua própria orquestração, o que gerava duplicação de código, configurações inconsistentes e monitoramento personalizado frágil. O Training Orchestrator separa 'o que executar' de 'como executar' usando objetos de configuração baseados em Pydantic, que são validados no momento da criação para evitar desperdício de computação. Ele constrói um grafo acíclico direcionado (directed acyclic graph, DAG) a partir das dependências de etapas declaradas e executa as etapas em ordem topológica. O contexto compartilhado do Spark e do MLflow permite que as etapas sejam executadas sem alterações em ambientes local, Jupyter ou de produção. A validação de esquemas detecta incompatibilidades em segundos, e as configurações completas de execução são registradas como artefatos do MLflow para reprodutibilidade. O framework se integra à plataforma de ML da Yelp, incluindo feature stores, redes neurais compartilhadas, bibliotecas de gradient boosting e MLflow. A Yelp planeja adicionar etapas explícitas para avaliação, comparação e explicação de modelos, bem como rastreamento de linhagem. A abordagem baseada em DAG desacopla a lógica de treinamento do runtime do cluster, suportando execuções locais e testes unitários. A Yelp reconhece o investimento inicial em esquemas e migração, mas acredita que isso evita custos repetidos em todas as equipes.