XiaomiのMiLM PlusチームがPROVEを発表：知覚に適合したオブジェクト除去指標RC-SとRC-Tと実世界ビデオベンチマーク

オブジェクト除去モデルの進歩は、その評価に用いられる指標の進歩を上回っており、しばしば出力のランキングを誤ることがあります。XiaomiのMiLM Plusチームは、ACM MM 2026で採択されたPROVEを発表しました。これには、空間的コヒーレンスを評価するRC-Sと時間的一貫性を評価するRC-Tの2つの指標と、2段階のビデオベンチマークであるPROVE-Benchが含まれています。両指標は、DINOv2特徴量に対するスライディングウィンドウ最大平均不一致（Maximum Mean Discrepancy）を用いて、編集領域を局所的にスコアリングし、参照ビデオを必要としません。PROVEはApache 2.0ライセンスのPyTorchリポジトリとして公開されています。これらの指標は、既存の指標の問題に対処します：PSNR、SSIM、LPIPSはコピーペーストに偏っており、ReMOVEとCFDはぼかしを報酬とし、幻覚（ハルシネーション）に対して誤作動を起こし、時間的指標は劣化に鈍感です。RC-Sは、人間のランキングに対する平均ケンドールのタウ（Kendall's tau）が0.59で、ReMOVE（0.26）やCFD（0.16）を大幅に上回ります。PROVE-Benchには、80のペアビデオで構成されるPROVE-Mと、グラウンドトゥルースなしの100の難しいビデオで構成されるPROVE-Hが含まれています。コードとデータセットは公開されており、RC-Sはフレーム当たり134.6ミリ秒で動作し、CFDよりも13.7倍高速です。