Cómo funciona el perfil neuronal de usuario de VK en las recomendaciones

VK AI ha desarrollado un perfil neuronal de usuario que forma una representación unificada de los intereses de un usuario a partir de todas las interacciones en los servicios de VK. El núcleo es un modelo de transformador que analiza hasta 1,024 acciones recientes como una secuencia, utilizando una arquitectura de dos torres: una torre de usuario con autoatención y una torre de ítems que codifica el contenido. Los tokens combinan incrustaciones de contenido de modelos multimodales, incrustaciones de eventos e incrustaciones de fuentes, con el tiempo codificado mediante Time2Vec. El entrenamiento implica un preentrenamiento con Sampled Softmax sobre señales implícitas y un ajuste fino con sesiones causales para evitar fugas de datos. El modelo de dominio cruzado 'Heimdall' equilibra los datos entre dominios y predice el siguiente objeto de contenido, mejorando las recomendaciones. Las pruebas A/B muestran un aumento del 5.5% en el tiempo de visualización en VK Clips y un +1.1% de TVT en la página principal de VK Video.