Wie das neuronale Benutzerprofil von VK bei Empfehlungen funktioniert

VK AI hat ein neuronales Nutzerprofil entwickelt, das eine einheitliche Darstellung der Interessen eines Nutzers aus allen Interaktionen über VK-Dienste hinweg bildet. Im Kern handelt es sich um ein Transformer-Modell, das bis zu 1.024 letzte Aktionen als Sequenz analysiert und dabei eine Zwei-Turm-Architektur verwendet: einen Nutzerturm mit Self-Attention und einen Inhaltsturm, der Inhalte codiert. Token kombinieren Inhalts-Embeddings aus multimodalen Modellen, Ereignis-Embeddings und Quellen-Embeddings, wobei die Zeit über Time2Vec codiert wird. Das Training umfasst ein Vortraining mit Sampled Softmax auf impliziten Signalen und eine Feinabstimmung mit kausalen Sitzungen, um Datenlecks zu vermeiden. Das domänenübergreifende Modell 'Heimdall' gleicht Daten über Domänen hinweg aus und sagt das nächste Inhaltsobjekt voraus, wodurch Empfehlungen verbessert werden. A/B-Tests zeigen eine Steigerung der Sehdauer um 5,5 % in VK Clips und +1,1 % TVT auf der Hauptseite von VK Video.