Lançamento do PROVE da Xiaomi MiLM Plus: Métricas de Remoção de Objetos Alinhadas à Percepção RC-S e RC-T com um Benchmark de Vídeo do Mundo Real
A equipe Xiaomi MiLM Plus lançou o PROVE, um conjunto de métricas alinhadas à percepção para avaliar a remoção de objetos em vídeos, juntamente com um benchmark do mundo real. As métricas, RC-S e RC-T, utilizam correspondência de distribuição local nos recursos do DINOv2 e não exigem ground truth. O PROVE supera as métricas existentes em correlação com rankings humanos.
Os modelos de remoção de objetos evoluíram mais rápido do que as métricas usadas para avaliá-los, frequentemente classificando incorretamente os resultados. A equipe do MiLM Plus da Xiaomi lançou o PROVE, aceito no ACM MM 2026, que inclui duas métricas: RC-S para coerência espacial e RC-T para consistência temporal, além do PROVE-Bench, um benchmark de vídeo em dois níveis. Ambas as métricas avaliam a região editada localmente usando Maximum Mean Discrepancy de janela deslizante sobre características DINOv2 e não requerem vídeo de referência. O PROVE está disponível como um repositório PyTorch sob licença Apache 2.0. As métricas abordam problemas das métricas existentes: PSNR, SSIM e LPIPS são tendenciosos para copiar e colar, ReMOVE e CFD recompensam desfoque e falham em alucinações, e métricas temporais são insensíveis à corrupção. RC-S alcança um tau de Kendall médio de 0,59 contra classificações humanas, superando significativamente ReMOVE (0,26) e CFD (0,16). O PROVE-Bench inclui PROVE-M com 80 vídeos pareados e PROVE-H com 100 vídeos difíceis sem verdade de campo (ground truth). O código e o conjunto de dados estão publicamente disponíveis, e o RC-S roda a 134,6 ms por quadro, 13,7 vezes mais rápido que o CFD.
Fonte: MarkTechPost —
original