Google Lança Auto Frame: Rede Neural Altera Perspectiva de Fotos Retroativamente

O Google Research e o Google DeepMind apresentaram o Auto Frame, um recurso agora disponível no Google Fotos que edita fotos alterando a perspectiva da câmera após a captura. Diferentemente do recorte tradicional, ele interpreta uma foto como uma cena 3D, estima um mapa de pontos 3D por pixel, juntamente com a distância focal original, e então usa renderização 3D clássica para simular uma nova posição e parâmetros intrínsecos da câmera. A imagem renderizada inevitavelmente tem buracos onde conteúdo anteriormente não visto apareceria; estes são preenchidos por um modelo de difusão latente especialmente treinado, que aprende a reconstruir a visão alvo a partir de uma visão fonte re-renderizada. Para retratos, modelos de aprendizado de máquina detectam rostos e sua orientação 3D para sugerir automaticamente o enquadramento ideal e corrigir a distorção grande angular ajustando os parâmetros intrínsecos da câmera virtual. A solução totalmente automática está disponível como a segunda opção de renderização entre os candidatos do Auto Frame no Google Fotos.