Xiaomis MiLM Plus veröffentlicht PROVE: Wahrnehmungsorientierte Objektentfernungs-Metriken RC-S und RC-T mit einem Realwelt-Video-Benchmark
Das Team von Xiaomis MiLM Plus hat PROVE veröffentlicht, eine Reihe von wahrnehmungsorientierten Metriken zur Bewertung der Objektentfernung in Videos, zusammen mit einem Benchmark mit realen Daten. Die Metriken RC-S und RC-T nutzen lokales Distributions-Matching auf DINOv2-Features und benötigen keine Ground-Truth-Daten. PROVE übertrifft bestehende Metriken in der Korrelation mit menschlichen Bewertungen.
Objektentfernungsmodelle haben sich schneller weiterentwickelt als die Metriken, die zu ihrer Bewertung verwendet werden, was oft zu einer falschen Rangfolge der Ergebnisse führt. Das MiLM Plus Team von Xiaomi hat PROVE veröffentlicht, das auf der ACM MM 2026 angenommen wurde und zwei Metriken umfasst: RC-S für räumliche Kohärenz und RC-T für zeitliche Konsistenz, sowie PROVE-Bench, eine zweistufige Video-Benchmark. Beide Metriken bewerten die editierte Region lokal mithilfe des Sliding-Window-Maximum-Mean-Discrepancy auf DINOv2-Features und benötigen kein Referenzvideo. PROVE ist als PyTorch-Repository unter Apache 2.0 verfügbar. Die Metriken adressieren Probleme bestehender Metriken: PSNR, SSIM und LPIPS sind auf Copy-Paste ausgerichtet, ReMOVE und CFD belohnen Unschärfe und versagen bei Halluzinationen, und zeitliche Metriken sind unempfindlich gegenüber Korruption. RC-S erreicht eine durchschnittliche Kendall's Tau von 0,59 gegenüber menschlichen Ranglisten und übertrifft damit deutlich ReMOVE (0,26) und CFD (0,16). PROVE-Bench umfasst PROVE-M mit 80 gepaarten Videos und PROVE-H mit 100 schwierigen Videos ohne Ground Truth. Der Code und der Datensatz sind öffentlich verfügbar, und RC-S läuft mit 134,6 ms pro Frame, 13,7-mal schneller als CFD.
Quelle: MarkTechPost —
Original