レコメンデーションのための強化学習：セッション全体でユーザー満足度を最適化する

VK ResearchのArtem Matveev氏が、KDD 2026の「End-to-End Customer Journey Optimization」ワークショップで採択された論文について語る。同論文「Session-Level Optimization for Large-Scale Retrieval using REINFORCE with Multi-Step Off-Policy Correction」は、レコメンデーションシステムが通常、即時のユーザーエンゲージメント（例：クリックや「いいね」）を最適化するが、製品指標は長期的（例：維持率や総利用時間）であるという問題に取り組んでいる。彼らは、レコメンデーション問題をマルコフ決定過程として定式化する。そこでは、エージェントがレコメンダー、環境がユーザー、状態がユーザーの履歴、行動が推奨アイテム、報酬がユーザーのフィードバックとなる。長期的な報酬を最大化する方策を学習するために、彼らは方策勾配法、特にREINFORCEを用いる。オン方策学習は非現実的であるため、彼らはオフ方策学習を採用し、重要度サンプリングを用いて行動方策（ログを生成した方策）と目標方策の差を補正する。また、オフ方策評価の手法として、直接法、傾向スコア逆数重み付け、二重ロバスト法について議論し、重要度重みの分散が高くなるという課題にも言及している。