Google presenta Auto Frame: una red neuronal cambia la perspectiva de las fotos de forma retroactiva

Google Research y Google DeepMind han presentado Auto Frame, una función ya disponible en Google Photos que edita fotos cambiando la perspectiva de la cámara después de la captura. A diferencia del recorte tradicional, interpreta una foto como una escena 3D, estima un mapa de puntos 3D por píxel junto con la distancia focal original, y luego utiliza renderizado 3D clásico para simular una nueva posición e intrínsecos de la cámara. La imagen renderizada inevitablemente tiene agujeros donde aparecería contenido antes no visible; estos se rellenan mediante un modelo de difusión latente especialmente entrenado que aprende a reconstruir la vista objetivo a partir de una vista fuente re-renderizada. Para retratos, modelos de aprendizaje automático detectan rostros y su orientación 3D para sugerir automáticamente el encuadre óptimo y corregir la distorsión gran angular ajustando los intrínsecos de la cámara virtual. La solución completamente automática está disponible como la segunda opción de renderizado dentro de los candidatos de Auto Frame en Google Photos.