Los sistemas de recomendación pasan de la similitud a predecir la intención del usuario

En la conferencia Urban ML, celebrada el 2 de agosto en Moscú por MTS True Tech y VTB, los expertos debatieron cómo están evolucionando los sistemas de recomendación. Tradicionalmente basados en el filtrado colaborativo y en la búsqueda de usuarios similares, ahora apuntan a predecir el comportamiento del usuario, centrándose en las probabilidades de acciones específicas. Danil Bugrienko, de MWS, señaló que en lugar de determinar las preferencias de los usuarios, los desarrolladores ahora crean algoritmos que pronostican acciones como abrir, ver o comprar. Sin embargo, el problema del arranque en frío sigue sin resolverse; los nuevos usuarios y artículos carecen de historial de interacciones. Las recomendaciones en tiempo real ayudan, analizando incluso los primeros clics y utilizando el comportamiento agregado de la audiencia. Serguéi Kuznetsov, jefe de desarrollo de la plataforma de recomendaciones de MWS, destacó los desafíos del uso de los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés): la latencia (se desea entre 200 y 300 milisegundos, pero los LLM tardan segundos), el costo debido a las costosas unidades de procesamiento gráfico (GPU) y los problemas de fiabilidad. Se presentaron tres casos de uso viables para los LLM: el enriquecimiento de características fuera de línea con incrustaciones, la generación de candidatos fuera de línea para abordar el arranque en frío y los escenarios conversacionales en línea donde el LLM actúa como agente. MWS eligió Gemma para los escenarios conversacionales, sacrificando algo de calidad por velocidad y costo para manejar más consultas por segundo (QPS). Los indicadores clave de éxito incluyen la retención, el factor de adherencia y la reducción de tickets de soporte, pero en última instancia se trata de dinero. La adopción de LLM a menudo requiere un acto de fe, ya que la economía puede no funcionar de inmediato, pero se espera que los costos disminuyan. La industria se está moviendo hacia sistemas que conversan con los usuarios y comprenden sus intenciones inmediatas, evaluando el éxito por cómo ahorran tiempo al usuario.