VK의 신경 사용자 프로필이 추천에서 작동하는 방식

VK AI는 VK 서비스 전반의 모든 상호작용에서 사용자 관심사의 통합 표현을 형성하는 신경 사용자 프로필을 개발했습니다. 핵심은 최대 1,024개의 최근 행동을 시퀀스로 분석하는 트랜스포머 모델로, 자기 주의(self-attention)를 갖춘 사용자 타워와 콘텐츠를 인코딩하는 아이템 타워의 두 타워 아키텍처를 사용합니다. 토큰은 멀티모달 모델의 콘텐츠 임베딩, 이벤트 임베딩, 소스 임베딩을 결합하며, 시간은 Time2Vec을 통해 인코딩됩니다. 훈련에는 암시적 신호에 대한 샘플드 소프트맥스(Sampled Softmax)를 사용한 사전 훈련과 데이터 누출을 방지하기 위한 인과적 세션으로 미세 조정이 포함됩니다. 크로스 도메인 모델 '하임달(Heimdall)'은 도메인 간 데이터 균형을 맞추고 다음 콘텐츠 객체를 예측하여 추천을 개선합니다. A/B 테스트에서 VK Clips의 시청 시간 5.5% 증가와 VK Video 메인 페이지의 TVT 1.1% 증가를 보였습니다.