Como o Perfil Neural de Usuário do VK Funciona em Recomendações

A VK AI desenvolveu um perfil neural de usuário que forma uma representação unificada dos interesses de um usuário a partir de todas as interações nos serviços da VK. O núcleo é um modelo transformer que analisa até 1.024 ações recentes como uma sequência, usando uma arquitetura de duas torres: uma torre de usuário com autoatenção e uma torre de item que codifica o conteúdo. Os tokens combinam embeddings de conteúdo de modelos multimodais, embeddings de eventos e embeddings de origem, com o tempo codificado via Time2Vec. O treinamento envolve pré-treinamento com Sampled Softmax em sinais implícitos e ajuste fino com sessões causais para evitar vazamento de dados. O modelo cross-domain 'Heimdall' equilibra dados entre domínios e prevê o próximo objeto de conteúdo, melhorando as recomendações. Testes A/B mostram um aumento de 5,5% no tempo de exibição no VK Clips e +1,1% de TVT na página principal do VK Video.