Les systèmes de recommandation passent de la similarité à la prédiction de l'intention utilisateur

Lors de la conférence Urban ML, tenue le 2 août à Moscou par MTS True Tech et VTB, les experts ont discuté de l'évolution des systèmes de recommandation. Traditionnellement basés sur le filtrage collaboratif et la recherche d'utilisateurs similaires, ils visent désormais à prédire le comportement des utilisateurs, en se concentrant sur les probabilités d'actions spécifiques. Danil Bugrienko de MWS a noté qu'au lieu de déterminer les préférences des utilisateurs, les développeurs créent maintenant des algorithmes qui prévoient des actions comme ouvrir, regarder ou acheter. Cependant, le problème du démarrage à froid reste non résolu ; les nouveaux utilisateurs et articles manquent d'historique d'interactions. Les recommandations en temps réel aident, en analysant même les premiers clics, et en utilisant le comportement agrégé de l'audience. Sergey Kuznetsov, chef du développement de la plateforme de recommandation chez MWS, a souligné les défis liés à l'utilisation des grands modèles de langage (LLM) : latence (200-300 ms sont souhaitables, mais les LLM prennent des secondes), coût dû aux GPU onéreux, et problèmes de fiabilité. Trois cas d'utilisation viables des LLM ont été présentés : enrichissement hors ligne des caractéristiques avec des plongements (embeddings), génération hors ligne de candidats pour résoudre le démarrage à froid, et scénarios conversationnels en ligne où le LLM agit comme un agent. MWS a choisi Gemma pour les scénarios conversationnels, sacrifiant un peu de qualité pour la vitesse et le coût afin de traiter plus de requêtes par seconde (RPS). Les indicateurs clés de succès incluent la rétention, le facteur d'attachement, et la réduction des tickets de support, mais en fin de compte, c'est une question d'argent. L'adoption des LLM nécessite souvent un acte de foi car l'économie peut ne pas fonctionner immédiatement, mais les coûts devraient diminuer. L'industrie se dirige vers des systèmes qui conversent avec les utilisateurs et comprennent leurs intentions immédiates, évaluant le succès par la manière dont ils économisent le temps de l'utilisateur.