Xiaomi phát hành PROVE: Các chỉ số loại bỏ đối tượng theo nhận thức RC-S và RC-T cùng bộ dữ liệu video thực tế
Nhóm MiLM Plus của Xiaomi đã phát hành PROVE, một bộ chỉ số theo nhận thức để đánh giá việc loại bỏ đối tượng trong video, cùng với một bộ tiêu chuẩn thực tế. Các chỉ số RC-S và RC-T sử dụng phương pháp khớp phân phối cục bộ trên các đặc trưng DINOv2 và không yêu cầu dữ liệu gốc. PROVE vượt trội hơn các chỉ số hiện có trong việc tương quan với xếp hạng của con người.
Mô hình xóa vật thể đã phát triển nhanh hơn so với các chỉ số dùng để đánh giá chúng, thường dẫn đến kết quả xếp hạng không chính xác. Nhóm MiLM Plus của Xiaomi đã phát hành PROVE, được chấp nhận tại ACM MM 2026, bao gồm hai chỉ số: RC-S để đánh giá tính nhất quán không gian và RC-T để đánh giá tính nhất quán thời gian, cùng với PROVE-Bench, một bộ đánh giá video gồm hai cấp độ. Cả hai chỉ số đều chấm điểm khu vực đã chỉnh sửa một cách cục bộ bằng cách sử dụng phép đo Maximum Mean Discrepancy (MMD) trượt cửa sổ trên các đặc trưng DINOv2 và không yêu cầu video tham chiếu. PROVE được phát hành dưới dạng kho mã nguồn PyTorch với giấy phép Apache 2.0. Các chỉ số này giải quyết các vấn đề của các chỉ số hiện có: PSNR, SSIM và LPIPS có xu hướng thiên về kỹ thuật sao chép-dán, ReMOVE và CFD lại ưu tiên các kết quả bị mờ và phản ứng sai với hiện tượng ảo giác, và các chỉ số thời gian không nhạy cảm với sự suy giảm chất lượng. RC-S đạt hệ số Kendall tau trung bình 0,59 so với xếp hạng của con người, vượt trội đáng kể so với ReMOVE (0,26) và CFD (0,16). PROVE-Bench bao gồm PROVE-M với 80 cặp video và PROVE-H với 100 video khó không có dữ liệu tham chiếu. Mã nguồn và bộ dữ liệu được công khai, và RC-S hoạt động với tốc độ 134,6 mili giây mỗi khung hình, nhanh hơn 13,7 lần so với CFD.
Nguồn: MarkTechPost —
bản gốc