Xiaomin MiLM Plus julkaisee PROVEn: havaintokohdistetut objektinpoistomittarit RC-S ja RC-T sekä oikean maailman videobenchmark

Objektinpoistomallit ovat kehittyneet nopeammin kuin niiden arviointiin käytetyt mittarit, mikä johtaa usein virheellisiin järjestyksiin tuloksissa. Xiaomin MiLM Plus -tiimi on julkaissut PROVE-menetelmän, joka on hyväksytty ACM MM 2026 -konferenssiin. Se sisältää kaksi mittaria: RC-S spatiaalista koherenssia varten ja RC-T ajallista konsistenssia varten, sekä PROVE-Bench-vertailuaineiston, joka on kaksitasoinen videovertailuaineisto. Molemmat mittarit arvioivat muokattua aluetta paikallisesti käyttäen liukuvaa ikkunaa ja Maximum Mean Discrepancy -menetelmää DINOv2-ominaisuuksille, eivätkä ne tarvitse referenssivideota. PROVE on saatavilla Apache 2.0 -lisenssillä PyTorch-varastona. Mittarit korjaavat olemassa olevien mittareiden ongelmia: PSNR, SSIM ja LPIPS suosivat kopio-liimaa -menetelmiä, ReMOVE ja CFD palkitsevat epäterävyydestä ja erehtyvät hallusinaatioissa, ja ajalliset mittarit ovat epäherkkiä korruptiolle. RC-S saavuttaa keskimääräisen Kendallin taun 0,59 verrattuna ihmisten arviointeihin, mikä on merkittävästi parempi kuin ReMOVE (0,26) ja CFD (0,16). PROVE-Bench sisältää PROVE-M-aineiston, jossa on 80 parillista videota, ja PROVE-H-aineiston, jossa on 100 haastavaa videota ilman pohjatotuutta. Koodi ja aineisto ovat julkisesti saatavilla, ja RC-S toimii 134,6 millisekunnissa ruutua kohti, mikä on 13,7 kertaa nopeampaa kuin CFD.