Yelp, Makine Öğrenimi Model Eğitiminin Birleşik Yönetimi için Eğitim Orkestratörünü Başlattı

Yelp, çeşitli ekipler tarafından kullanılan bağımsız olarak yazılmış Spark eğitim betiklerinin yerini alan yeni bir dahili çerçeve olan Training Orchestrator'ı tanıttı. Daha önce, her uygulamalı makine öğrenimi ekibi kendi orkestrasyonunu oluşturuyordu, bu da kod tekrarına, tutarsız yapılandırmalara ve kırılgan özel izlemelere yol açıyordu. Training Orchestrator, 'ne çalıştırılacağını' 'nasıl çalıştırılacağından' ayırmak için Pydantic tabanlı yapılandırma nesneleri kullanır; bunlar, gereksiz hesaplama kaybını önlemek için oluşturma zamanında doğrulanır. Bildirilen adım bağımlılıklarından yönlendirilmiş bir döngüsel grafik (DAG) oluşturur ve adımları topolojik sırada yürütür. Paylaşılan Spark/MLflow bağlamı, adımların yerel, Jupyter veya üretim ortamlarında değiştirilmeden çalışmasına olanak tanır. Şema doğrulama, uyumsuzlukları saniyeler içinde yakalar ve tam çalıştırma yapılandırmaları, tekrarlanabilirlik için MLflow yapıtları olarak günlüğe kaydedilir. Bu çerçeve, Yelp'in ML platformuyla (özellik depoları, paylaşılan sinir ağları, gradyan artırma kütüphaneleri ve MLflow dahil) entegre olur. Yelp, model değerlendirme, karşılaştırma ve açıklama için açık adımlar ile birlikte izlenebilirlik takibi eklemeyi planlıyor. DAG tabanlı yaklaşım, eğitim mantığını küme çalışma zamanından ayırarak yerel çalıştırmaları ve birim testlerini destekler. Yelp, şemalar ve geçiş için başlangıç yatırımını kabul etmekle birlikte, bunun ekipler arasında tekrarlanan maliyetlerin önüne geçtiğine inanıyor.