Fast 200 Grad Sichtfeld: Testen von SOTA-Tiefenschätzungsmodellen auf Fisheye
Forscher vom ML-Hub der Habr erstellten WideDepth, einen Benchmark zur Bewertung von Tiefenschätzungsmodellen auf Fisheye-Bildern. Tests von 14 hochmodernen Modellen zeigten, dass monokulare Modelle besonders empfindlich auf ultraweite Sichtfelder reagieren, wobei die Fehler um über 160% zunehmen, wenn man von 120° auf 195° wechselt. Der Benchmark ermöglicht einen kontrollierten Vergleich von Modellen über verschiedene Sichtfelder, Stereo-Baselines und Kameraausrichtungen hinweg.
Der WideDepth-Benchmark wurde erstellt, um Tiefenschätzungsmodelle an Fisheye-Bildern zu evaluieren und damit den Mangel an geeigneten realen Indoor-Fisheye-Datensätzen zu adressieren. Er basiert auf 101 Büroszenen, die mit einem terrestrischen Laserscanner aufgenommen wurden, und liefert Ground-Truth-Tiefen mit Millimeter-Genauigkeit. Zudem bietet er Bilder mit horizontalen Sichtfeldern (FOV) von 120°, 140°, 165° und 195°, Stereo-Baselines von 20 bis 300 mm sowie sowohl horizontale als auch vertikale Kameraperspektiven. Tests an 14 State-of-the-Art-Modellen zeigten, dass monokulare Modelle wie Depth Anything V2 und PatchFusion einen Anstieg ihres AbsRel-Fehlers um 166% bzw. 160% verzeichnen, wenn das Sichtfeld von 120° auf 195° erhöht wird, während Depth Pro mit nur 9% Anstieg robuster ist. Bei der Stereo-Bildzuordnung erwies sich die äquirektangulare Projektion als deutlich besser als die Cubemap-Projektion, wodurch der EPE-Fehler von 4,50 auf 1,07 Pixel reduziert wurde. Durch Feintuning des kompakten BGNet-Modells auf Fisheye-Daten verbesserte sich der Prozentsatz der Pixel mit einem Disparitätsfehler über 3 Pixel von 24,3% auf 9,3%, was einer Verbesserung von 62% entspricht. Der Benchmark umfasst auch einen Trainingsdatensatz von 18.000 Outdoor-Stereo-Paaren, die mit Handheld-Sensoren aufgenommen wurden, um die Anpassung von Modellen an die Fisheye-Domäne zu testen.
Quelle: Habr — хаб ML —
Original