La plateforme n'est pas une fin en soi : quand unifier le développement ML et quand s'arrêter, débattu à l'« IT Picnic »
Lors de la conférence « IT Picnic », Sergueï Kouznetsov, responsable du développement de la plateforme de recommandation et de recherche MWS, a partagé ses réflexions sur le moment de construire une plateforme ML complète par rapport à celui de s'arrêter au niveau de la bibliothèque. Il a illustré son propos avec trois cas : l'unification des systèmes de recommandation, des modèles de notation et de la tarification dynamique. Le point clé à retenir est qu'une plateforme ne doit être construite que si elle justifie ses propres coûts par des tâches répétées.
Sergey Kuznetsov de MWS (qui fait partie de MTS) a évoqué l'évolution du développement du machine learning, en soulignant qu'à mesure que les équipes grandissent, elles accumulent des pratiques qui peuvent être transformées en bibliothèques puis en plateformes. Il a présenté trois cas : premièrement, l'unification d'une dizaine de systèmes de recommandation en une seule plateforme, ce qui a standardisé les formats de données, les expériences et les pipelines ; deuxièmement, l'utilisation d'une plateforme pour les modèles de scoring afin d'automatiser la préparation des données et l'entraînement, ce qui a permis d'accumuler au fil du temps des milliers de caractéristiques vérifiées ; troisièmement, une tentative avortée de créer une plateforme universelle de tarification dynamique, jugée trop coûteuse par rapport au développement d'une solution sur mesure pour un grand client. Il a insisté sur le fait que la plateformisation comporte des risques et des coûts, et qu'elle n'est rentable que lorsque le même processus se répète fréquemment. Les actifs les plus précieux ne sont pas les modèles spécifiques, qui évoluent rapidement, mais l'infrastructure, les outils et les interfaces qui perdurent.
Source: Habr — хаб ML —
original