Platform is geen doel op zich: wanneer ML-ontwikkeling verenigen en wanneer stoppen, besproken op 'IT Picnic'
Op de 'IT Picnic'-conferentie deelde Sergey Kuznetsov, hoofd van de ontwikkeling van het aanbevelings- en zoekplatform van MWS, inzichten over wanneer je een volledig ML-platform moet bouwen versus wanneer je moet stoppen op bibliotheekniveau. Hij illustreerde dit met drie casussen: het verenigen van aanbevelingssystemen, scoringsmodellen en dynamische prijsstelling. De belangrijkste les is dat een platform alleen gebouwd moet worden als het zijn eigen kosten rechtvaardigt door herhaalde taken.
Sergey Kuznetsov van MWS (onderdeel van MTS) besprak de evolutie van ML-ontwikkeling en merkte op dat naarmate teams groeien, ze praktijken verzamelen die kunnen worden omgezet in bibliotheken en vervolgens platforms. Hij presenteerde drie cases: ten eerste het verenigen van ongeveer tien aanbevelingssystemen in één platform, wat leidde tot standaardisatie van dataformaten, experimenten en pipelines; ten tweede het gebruik van een platform voor scoringsmodellen om datavoorbereiding en training te automatiseren, waarbij in de loop van de tijd duizenden geverifieerde features werden verzameld; ten derde een mislukte poging om een universeel dynamisch prijsplatform te creëren, dat te duur werd geacht in vergelijking met het ontwikkelen van een maatwerkoplossing voor een grote klant. Hij benadrukte dat platformisering risico's en kosten met zich meebrengt, en dat het alleen de moeite waard is wanneer hetzelfde proces vaak terugkeert. De meest waardevolle assets zijn niet specifieke modellen, die snel veranderen, maar de infrastructuur, tools en interfaces die blijven bestaan.
Bron: Habr — хаб ML —
origineel