Xiaomi lanza PROVE: métricas de eliminación de objetos alineadas con la percepción, RC-S y RC-T, y un benchmark de vídeo del mundo real
El equipo de Xiaomi MiLM Plus ha lanzado PROVE, un conjunto de métricas alineadas con la percepción para evaluar la eliminación de objetos en vídeos, junto con un benchmark del mundo real. Las métricas, RC-S y RC-T, utilizan la coincidencia de distribución local en características de DINOv2 y no requieren ground truth. PROVE supera a las métricas existentes en correlación con las clasificaciones humanas.
Los modelos de eliminación de objetos han avanzado más rápido que las métricas utilizadas para evaluarlos, lo que a menudo produce clasificaciones incorrectas. El equipo de MiLM Plus de Xiaomi ha lanzado PROVE, aceptado en ACM MM 2026, que incluye dos métricas: RC-S para coherencia espacial y RC-T para consistencia temporal, además de PROVE-Bench, un punto de referencia de vídeo de dos niveles. Ambas métricas puntúan la región editada localmente utilizando la Discrepancia Media Máxima de ventana deslizante sobre características DINOv2 y no requieren vídeo de referencia. PROVE está disponible como un repositorio PyTorch bajo licencia Apache 2.0. Las métricas abordan problemas de las métricas existentes: PSNR, SSIM y LPIPS están sesgadas hacia el copiar y pegar, ReMOVE y CFD recompensan el desenfoque y fallan en alucinaciones, y las métricas temporales son insensibles a la corrupción. RC-S logra un tau de Kendall promedio de 0.59 frente a las clasificaciones humanas, superando significativamente a ReMOVE (0.26) y CFD (0.16). PROVE-Bench incluye PROVE-M con 80 vídeos emparejados y PROVE-H con 100 vídeos difíciles sin verdad fundamental. El código y el conjunto de datos están disponibles públicamente, y RC-S se ejecuta a 134.6 ms por fotograma, 13.7 veces más rápido que CFD.
Fuente: MarkTechPost —
original
