CTR에서 거래까지: Avito가 ML 수익화 모델을 구축하는 방법

이 기사는 Avito에서 DS 매니저로 일하는 Alina Babenko가 작성한 것으로, 회사 팀이 검색 및 추천을 위한 수익화 모델을 어떻게 구축하는지 설명합니다. 핵심 과제는 사용자와 목록 간의 상호작용으로부터 예상 수익을 추정하고 이를 랭킹에 반영하는 것입니다. 주요 지표는 수익 성장이지만, 팀은 이를 사용자에 대한 검색 품질과 균형을 맞춰야 합니다. 세 가지 유형의 모델이 사용됩니다: CTR 모델은 클릭 확률을 예측하고, CVR 모델은 클릭 후 목표 행동의 가능성을 추정하며, 보정 모델은 트래픽 품질에 따라 입찰가를 조정합니다. 평균 클릭당 비용을 안정적으로 유지하기 위해 쿼리 교차 엔트로피 손실을 사용합니다. 랭킹 품질을 평가할 때는 전역 ROC-AUC 대신 계층화된 ROC-AUC를 사용하는데, 이는 사용자가 단일 쿼리 내에서 목록을 비교하기 때문입니다. 캘리브레이션은 RIG 지표로 평가됩니다. 속성 기여(attribution)와 관련된 문제도 있습니다. 마지막 클릭, 첫 클릭 또는 멀티터치 접근 방식을 사용하며, 초기 클릭에 더 적은 가중치를 부여하는 방법을 탐구하고 있습니다. 위치 편향을 해결하기 위해 세 개의 CatBoost 모델이나 역경향 가중치(inverse propensity weighting)를 사용합니다. 또한 CatBoost에서 딥러닝으로 전환 중이며, 이는 이미 CTR 예측 품질에서 더 나은 성능을 보여주지만, 거래 모델링은 사용자 여정이 더 길어 클릭보다 더 복잡하다는 점을 지적합니다.