Quase 200 graus de visão: testando modelos SOTA de estimativa de profundidade em olho de peixe
Pesquisadores do hub de ML da Habr criaram o WideDepth, um benchmark para avaliar modelos de estimativa de profundidade em imagens de olho de peixe. Testar 14 modelos de última geração revelou que modelos monoculares são particularmente sensíveis a campos de visão ultra-amplos, com erros aumentando em mais de 160% ao passar de 120° para 195°. O benchmark permite comparação controlada de modelos em diferentes FOVs, baselines estéreo e orientações de câmera.
O benchmark WideDepth foi criado para avaliar modelos de estimativa de profundidade em imagens de olho de peixe, abordando a falta de conjuntos de dados reais de ambientes internos adequados para esse tipo de imagem. Ele é baseado em 101 cenas de escritórios capturadas com um scanner a laser terrestre, fornecendo profundidade de referência com precisão milimétrica, e oferece imagens com campos de visão horizontais de 120°, 140°, 165° e 195°, linhas de base estéreo de 20 a 300 mm, e orientações de câmera tanto horizontal quanto vertical. Testes em 14 modelos de ponta mostraram que modelos monoculares como Depth Anything V2 e PatchFusion veem seu erro AbsRel aumentar em 166% e 160%, respectivamente, quando o FOV aumenta de 120° para 195°, enquanto o Depth Pro é mais robusto, com um aumento de apenas 9%. Para correspondência estéreo, a projeção equirretangular provou ser significativamente melhor que o cubemap, reduzindo o erro EPE de 4,50 para 1,07 pixels. O ajuste fino do modelo compacto BGNet em dados de olho de peixe melhorou a porcentagem de pixels com erro de disparidade acima de 3 pixels de 24,3% para 9,3%, uma melhoria de 62%. O benchmark também inclui um conjunto de treinamento de 18.000 pares estéreo ao ar livre capturados com sensores portáteis para testar a adaptação do modelo ao domínio de olho de peixe.
Fonte: Habr — хаб ML —
original