Les métriques PROVE de Xiaomi MiLM Plus : RC-S et RC-T pour l'évaluation de la suppression d'objets, avec un benchmark vidéo du monde réel

Les modèles de suppression d'objets ont progressé plus rapidement que les métriques utilisées pour les évaluer, ce qui entraîne souvent un classement incorrect des résultats. L'équipe MiLM Plus de Xiaomi a publié PROVE, accepté à ACM MM 2026, qui comprend deux métriques : RC-S pour la cohérence spatiale et RC-T pour la cohérence temporelle, ainsi que PROVE-Bench, un benchmark vidéo à deux niveaux. Les deux métriques évaluent localement la région éditée en utilisant la divergence maximale moyenne par fenêtre glissante sur les caractéristiques DINOv2 et ne nécessitent aucune vidéo de référence. PROVE est disponible sous forme de dépôt PyTorch sous licence Apache 2.0. Les métriques répondent aux problèmes des métriques existantes : PSNR, SSIM et LPIPS sont biaisés envers le copier-coller, ReMOVE et CFD récompensent le flou et échouent sur les hallucinations, et les métriques temporelles sont insensibles à la corruption. RC-S atteint un tau de Kendall moyen de 0,59 par rapport aux classements humains, surpassant largement ReMOVE (0,26) et CFD (0,16). PROVE-Bench comprend PROVE-M avec 80 vidéos appariées et PROVE-H avec 100 vidéos difficiles sans vérité terrain. Le code et l'ensemble de données sont disponibles publiquement, et RC-S s'exécute à 134,6 ms par image, soit 13,7 fois plus rapidement que CFD.