VK神经用户画像如何在推荐系统中运作

VK AI开发了一种神经用户画像技术，该技术能够从VK各项服务中用户的所有交互行为里，形成对用户兴趣的统一表征。其核心是一个Transformer模型，该模型将用户最近的多达1024个行为视作一个序列进行分析，并采用双塔架构：一个带有自注意力的用户塔和一个对内容进行编码的条目塔。令牌结合了来自多模态模型的内容嵌入、事件嵌入和来源嵌入，时间信息则通过Time2Vec进行编码。训练过程包括使用隐式信号通过Sampled Softmax进行预训练，以及利用因果会话进行微调以避免数据泄露。跨领域模型“Heimdall”平衡了各领域间的数据，并预测下一个内容对象，从而提升了推荐效果。A/B测试显示，VK Clips的观看时长增加了5.5%，VK Video主页的TVT（总观看时长）提升了1.1%。