VKのニューラルユーザープロファイルがレコメンデーションでどのように機能するか

VK AIは、VKサービスのすべてのインタラクションからユーザーの関心の統一表現を形成するニューラルユーザープロファイルを開発しました。核となるのは、直近の最大1,024件のアクションをシーケンスとして分析するトランスフォーマーモデルで、自己注意メカニズムを持つユーザータワーと、コンテンツをエンコードするアイテムタワーという2タワーアーキテクチャを使用しています。トークンは、マルチモーダルモデルからのコンテンツ埋め込み、イベント埋め込み、ソース埋め込みを組み合わせ、時間はTime2Vecでエンコードされます。トレーニングでは、暗黙のシグナルに対するサンプルソフトマックスによる事前トレーニングと、データリークを防ぐための因果セッションによるファインチューニングが行われます。クロスドメインモデル「Heimdall」は、ドメイン間のデータバランスを取り、次のコンテンツオブジェクトを予測することで、レコメンデーションを改善します。A/Bテストでは、VK Clipsでの視聴時間が5.5%増加し、VK VideoのメインページではTVT（総視聴時間）が1.1%増加しました。