Aanbevelingssystemen verschuiven van overeenkomsten naar het voorspellen van gebruikersintentie

Op de Urban ML-conferentie, gehouden op 2 augustus in Moskou door MTS True Tech en VTB, bespraken experts hoe aanbevelingssystemen zich ontwikkelen. Traditioneel gebaseerd op collaboratieve filtering en het vinden van vergelijkbare gebruikers, richten ze zich nu op het voorspellen van gebruikersgedrag, met de nadruk op kansen op specifieke acties. Danil Bugrienko van MWS merkte op dat ontwikkelaars in plaats van het bepalen van gebruikersvoorkeuren nu algoritmen creëren die acties zoals openen, bekijken of kopen voorspellen. Het cold start-probleem blijft echter onopgelost; nieuwe gebruikers en items hebben geen interactiegeschiedenis. Real-time aanbevelingen helpen, door zelfs eerste klikken te analyseren en gebruik te maken van het geaggregeerde gedrag van het publiek. Sergey Kuznetsov, hoofd van de ontwikkeling van het MWS-aanbevelingsplatform, wees op uitdagingen bij het gebruik van grote taalmodellen (LLM's): latentie (200-300 ms is wenselijk, maar LLM's doen er seconden over), kosten door dure GPU's, en betrouwbaarheidsproblemen. Drie haalbare use cases voor LLM's werden gepresenteerd: offline feature-verrijking met embeddings, offline kandidaatgeneratie om het cold start-probleem aan te pakken, en online conversationele scenario's waarbij het LLM als agent fungeert. MWS koos voor Gemma voor conversationele scenario's, waarbij enige kwaliteit werd ingeruild voor snelheid en kosten om meer queries per seconde (RPS) aan te kunnen. Belangrijke succesmetrieken zijn retentie, de stickiness-factor en een vermindering van ondersteuningstickets, maar uiteindelijk draait het om geld. De adoptie van LLM's vereist vaak een sprong in het diepe, omdat de economie niet onmiddellijk werkt, maar de kosten naar verwachting zullen dalen. De industrie beweegt zich richting systemen die met gebruikers converseren en hun directe bedoelingen begrijpen, waarbij succes wordt geëvalueerd op hoe goed ze de tijd van de gebruiker besparen.