小米MiLM Plus发布PROVE:感知对齐的对象移除指标RC-S与RC-T及真实世界视频基准
小米MiLM Plus团队发布了PROVE,这是一套用于评估视频中对象移除效果的感知对齐指标,以及一个真实世界基准。这些指标RC-S和RC-T基于DINOv2特征的局部分布匹配,且无需真实标签。在与人类排序的相关性方面,PROVE优于现有指标。
物体移除模型的发展速度已经超过了用于评估它们的指标,导致评估结果常常排名错误。小米的MiLM Plus团队发布了PROVE,该成果已被ACM MM 2026接收,包含两个指标:用于空间一致性的RC-S和用于时间一致性的RC-T,以及一个两层级的视频基准测试PROVE-Bench。这两个指标均使用滑动窗口最大均值差异(Maximum Mean Discrepancy)在DINOv2特征上对编辑区域进行局部评分,且无需参考视频。PROVE以Apache 2.0许可的PyTorch代码库形式提供。这些指标解决了现有指标的问题:PSNR、SSIM和LPIPS偏向于复制粘贴,ReMOVE和CFD则奖励模糊并对幻觉产生误报,而时间指标对损坏不敏感。RC-S与人类排名的平均肯德尔等级相关系数(Kendall's tau)达到0.59,显著优于ReMOVE(0.26)和CFD(0.16)。PROVE-Bench包含80对视频的PROVE-M和无地面真值的100个困难视频的PROVE-H。代码和数据集已公开,RC-S的运行速度为每帧134.6毫秒,比CFD快13.7倍。
来源: MarkTechPost —
原文
