手動ルールからモデルへ：A/Bメトリクスを落とさずに補助金を自動化する方法

アビト・ポドラボトカ（一時雇用サービス）では、以前はプラットフォームの予算から、人気のないシフトに対して「オントップ」補助金を手動でギグワーカーに割り当てていました。サービスが成長するにつれて、手動管理は非効率になり、非弾力的なセグメントでは過剰支出、補助金が必要な場所では過少支出が発生しました。そのため、ビジネス指標を損なうことなくSubGMV（補助金水準）を削減するという目標が設定されました。チームは、ビジネスルール、バイナリアップリフト、バンディット、強化学習、ベイズ法など様々なアプローチを評価しましたが、制約（偏ったデータ、実験能力の制限（テストでオントップをゼロにできない）、低頻度で遅延のあるフィードバック、解釈可能性の必要性）により、価格応答モデルを選択しました。このモデルは、価格（基本レート＋オントップ）、シフトパラメータ、地理位置情報、市場、過去のプラットフォーム統計に基づいて、特定の日のうちにスロットが埋まる確率を予測します。データバイアスに対処するため、トレーニングデータをA/Bテストデータで拡張し、タスクを3クラス分類（グループAでコンタクト、グループBでコンタクト、コンタクトなし）として定式化し、本番では2クラスに縮小しました。価格特徴に対して単調性制約を適用し、補助金を増やしてもクロージング確率が下がらないようにしました。これはCatBoostを2つのバイナリモデルに分解して実装しました。主要な評価指標には、LogLoss 0.44、Brier 0.29、フィルレート偏差 -0.6パーセントポイント、対称性ギャップ 0.01未満が含まれます。モデルのキャリブレーションは、Completedスロットとフィルレートを低下させることなく補助金を効果的に配分するための予算配分アルゴリズムにとって重要です。