Xiaomi'nin MiLM Plus Ekibi PROVE'u Yayınladı: Algıya Uyumlu Nesne Kaldırma Metrikleri RC-S ve RC-T ile Gerçek Dünya Video Karşılaştırması
Xiaomi'nin MiLM Plus ekibi, videolarda nesne kaldırmayı değerlendirmek için algıya uyumlu metrikler seti olan PROVE'u ve gerçek dünya karşılaştırmasını yayınladı. RC-S ve RC-T metrikleri, DINOv2 özellikleri üzerinde yerel dağılım eşleştirmesi kullanır ve temel gerçeklik gerektirmez. PROVE, insan sıralamalarıyla korelasyonda mevcut metriklerden daha iyi performans gösterir.
Nesne kaldırma modelleri, onları değerlendirmek için kullanılan metriklerden daha hızlı ilerledi ve bu da genellikle çıktıların yanlış sıralanmasına yol açtı. Xiaomi'nin MiLM Plus ekibi, ACM MM 2026'da kabul edilen PROVE'u yayınladı. PROVE, iki metrik içeriyor: uzamsal tutarlılık için RC-S ve zamansal tutarlılık için RC-T. Ayrıca iki katmanlı bir video karşılaştırma ölçütü olan PROVE-Bench'ı da içeriyor. Her iki metrik de düzenlenen bölgeyi DINOv2 özellikleri üzerinde kayan pencere Maksimum Ortalama Farklılığı (Maximum Mean Discrepancy) kullanarak yerel olarak puanlıyor ve referans video gerektirmiyor. PROVE, Apache 2.0 PyTorch deposu olarak sunuluyor. Metrikler, mevcut metriklerdeki sorunları ele alıyor: PSNR, SSIM ve LPIPS kopyala-yapıştır'a yanlı; ReMOVE ve CFD bulanıklığı ödüllendiriyor ve halüsinasyonlarda hata yapıyor; zamansal metrikler ise bozulmaya karşı duyarsız. RC-S, insan sıralamalarına karşı yüzde 59 ortalama Kendall tau elde ederek ReMOVE (0.26) ve CFD'den (0.16) önemli ölçüde daha iyi performans gösteriyor. PROVE-Bench, 80 eşleştirilmiş video içeren PROVE-M ve temel gerçeği olmayan 100 zor video içeren PROVE-H'yi içeriyor. Kod ve veri seti herkese açık olup RC-S, kare başına 134,6 ms çalışıyor ve CFD'den 13,7 kat daha hızlı.
Kaynak: MarkTechPost —
orijinal