Yelp julkaisee Training Orchestrator -kehyksen koneoppimismallien koulutuksen keskitettyyn hallintaan

Yelp on julkaissut Training Orchestratorin, uuden sisäisen kehyksen, joka korvaa eri tiimien itsenäisesti kirjoittamat Spark-koulutusskriptit. Aiemmin jokainen sovellettu koneoppimistiimi loi oman orkestrointinsa, mikä johti koodin päällekkäisyyteen, epäyhtenäisiin konfiguraatioihin ja hauraisiin räätälöityihin valvontaratkaisuihin. Training Orchestrator erottaa 'mitä ajetaan' -osion 'miten ajetaan' -osiosta käyttämällä Pydantic-pohjaisia konfiguraatio-objekteja, jotka validoidaan luomishetkellä turhan laskennan välttämiseksi. Se rakentaa suunnatun asyklisen graafin (DAG) ilmoitettujen vaiheiden riippuvuuksista ja suorittaa vaiheet topologisessa järjestyksessä. Jaetun Spark/MLflow-kontekstin ansiosta vaiheet voidaan ajaa muuttumattomina paikallisessa, Jupyter- tai tuotantoympäristössä. Skeemavalidointi havaitsee yhteensopimattomuudet sekunneissa, ja täydelliset ajon konfiguraatiot kirjataan MLflow-artefakteiksi toistettavuuden varmistamiseksi. Kehys integroituu Yepin ML-alustaan, mukaan lukien piirrekauppoihin, jaettuihin neuroverkkoihin, gradienttiboottausta käyttäviin kirjastoihin ja MLflowiin. Yelp aikoo lisätä eksplisiittisiä vaiheita mallien arviointia, vertailua ja selittämistä varten sekä alkuperäseurantaa. DAG-pohjainen lähestymistapa irrottaa koulutuslogiikan klusterin ajonaikaisesta ympäristöstä, tukien paikallisia ajoja ja yksikkötestejä. Yelp myöntää ennakkoinvestoinnin skeemoihin ja migraatioon, mutta uskoo sen välttävän toistuvia kustannuksia tiimien välillä.