Cách hồ sơ người dùng thần kinh của VK hoạt động trong hệ thống gợi ý

VK AI đã phát triển một hồ sơ người dùng thần kinh, tạo ra một biểu diễn thống nhất về sở thích của người dùng từ tất cả các tương tác trên các dịch vụ VK. Cốt lõi là một mô hình transformer phân tích tối đa 1.024 hành động gần đây như một chuỗi, sử dụng kiến trúc hai tháp: một tháp người dùng với cơ chế tự chú ý và một tháp mục nội dung mã hóa nội dung. Các token kết hợp các phép nhúng nội dung từ các mô hình đa phương thức, phép nhúng sự kiện và phép nhúng nguồn, với thời gian được mã hóa qua Time2Vec. Quá trình đào tạo bao gồm tiền đào tạo với Sampled Softmax trên các tín hiệu ngầm và tinh chỉnh với các phiên nhân quả để tránh rò rỉ dữ liệu. Mô hình đa miền 'Heimdall' cân bằng dữ liệu giữa các lĩnh vực và dự đoán đối tượng nội dung tiếp theo, cải thiện các khuyến nghị. Các thử nghiệm A/B cho thấy thời gian xem tăng 5,5% trong VK Clips và +1,1% TVT trên trang chính của VK Video.