Gần 200 độ góc nhìn: Kiểm tra các mô hình ước tính độ sâu SOTA trên ống kính mắt cá
Các nhà nghiên cứu từ trung tâm ML của Habr đã tạo ra WideDepth, một benchmark để đánh giá các mô hình ước tính độ sâu trên hình ảnh mắt cá. Thử nghiệm 14 mô hình hiện đại nhất cho thấy các mô hình đơn mắt đặc biệt nhạy cảm với trường nhìn siêu rộng, với sai số tăng trên 160% khi chuyển từ 120° lên 195°. Benchmark này cho phép so sánh có kiểm soát giữa các mô hình trên các trường nhìn, khoảng cách stereo, và hướng camera khác nhau.
Bộ đánh giá WideDepth được tạo ra để đánh giá các mô hình ước tính độ sâu trên ảnh fisheye, giải quyết vấn đề thiếu bộ dữ liệu ảnh fisheye trong nhà thực tế phù hợp. Nó được xây dựng dựa trên 101 cảnh văn phòng được chụp bằng máy quét laser mặt đất, cung cấp thông tin độ sâu ground truth với độ chính xác milimét, và cho phép hình ảnh có trường nhìn ngang (FOV) lần lượt là 120°, 140°, 165° và 195°, khoảng cách cơ sở stereo trong khoảng 20 đến 300 mm, cùng với cả hai định hướng máy ảnh theo chiều ngang và chiều dọc. Các thử nghiệm trên 14 mô hình SOTA cho thấy các mô hình đơn hình (monocular) như Depth Anything V2 và PatchFusion có độ lỗi AbsRel tăng lần lượt 166% và 160% khi FOV tăng từ 120° lên 195°, trong khi Depth Pro hoạt động ổn định hơn với mức tăng chỉ 9%. Đối với việc khớp stereo, phép chiếu equirectangular đã chứng tỏ hiệu quả tốt hơn đáng kể so với phép chiếu cubemap, làm giảm độ lỗi EPE từ 4,50 xuống 1,07 pixel. Việc tinh chỉnh mô hình nhỏ gọn BGNet trên dữ liệu fisheye đã cải thiện tỷ lệ pixel có độ lỗi disparity trên 3 pixel từ 24,3% lên 9,3%, tương đương mức cải thiện 62%. Bộ đánh giá cũng bao gồm tập huấn luyện gồm 18.000 cặp stereo ngoài trời được chụp bằng cảm biến cầm tay để kiểm tra khả năng thích ứng của mô hình với miền fisheye.
Nguồn: Habr — хаб ML —
bản gốc