OnderzoekMediageneratie 🇺🇸 12.08.2026 09:02

Xiaomi's MiLM Plus brengt PROVE uit: perceptie-afgestemde objectverwijderingsmetrieken RC-S en RC-T met een real-world videobenchmark

Het MiLM Plus-team van Xiaomi heeft PROVE uitgebracht, een set van perceptie-afgestemde metrieken voor het evalueren van objectverwijdering in video's, samen met een real-world benchmark. De metrieken, RC-S en RC-T, gebruiken lokale distributiematching op DINOv2-functies en vereisen geen ground truth. PROVE presteert beter dan bestaande metrieken in correlatie met menselijke rangschikkingen.
Objectverwijderingsmodellen zijn sneller verbeterd dan de metrieken die worden gebruikt om ze te evalueren, waardoor outputs vaak verkeerd worden gerangschikt. Het MiLM Plus-team van Xiaomi heeft PROVE uitgebracht, geaccepteerd op ACM MM 2026, dat twee metrieken omvat: RC-S voor ruimtelijke coherentie en RC-T voor temporele consistentie, plus PROVE-Bench, een video-benchmark met twee niveaus. Beide metrieken scoren het bewerkte gebied lokaal met behulp van schuifvenster-Maximum Mean Discrepancy op DINOv2-functies en vereisen geen referentievideo. PROVE is beschikbaar als een Apache 2.0 PyTorch-repository. De metrieken pakken problemen met bestaande metrieken aan: PSNR, SSIM en LPIPS zijn bevooroordeeld ten opzichte van kopiëren-en-plakken, ReMOVE en CFD belonen onscherpte en schieten tekort bij hallucinaties, en temporele metrieken zijn ongevoelig voor corruptie. RC-S behaalt een gemiddelde Kendall's tau van 0,59 tegen menselijke rangschikkingen, aanzienlijk beter dan ReMOVE (0,26) en CFD (0,16). PROVE-Bench omvat PROVE-M met 80 gepaarde video's en PROVE-H met 100 moeilijke video's zonder grondwaarheid. De code en dataset zijn openbaar beschikbaar, en RC-S draait op 134,6 ms per frame, 13,7 keer sneller dan CFD.
Bron: MarkTechPost — origineel
Eerdere berichten over dit onderwerp ↓
Vers nieuws