Google introduceert Auto Frame: neuraal netwerk verandert achteraf het perspectief van foto's

Google Research en Google DeepMind hebben Auto Frame geïntroduceerd, een functie die nu beschikbaar is in Google Foto's en waarmee foto's worden bewerkt door het cameraperspectief na het maken van de opname te veranderen. In tegenstelling tot traditioneel bijsnijden, interpreteert het een foto als een 3D-scène, schat het een 3D-puntkaart per pixel samen met de oorspronkelijke brandpuntsafstand, en gebruikt het vervolgens klassieke 3D-rendering om een nieuwe camerapositie en -intrinsieke parameters te simuleren. De gerenderde afbeelding heeft onvermijdelijk gaten op plaatsen waar voorheen onzichtbare inhoud zou verschijnen; deze worden opgevuld door een speciaal getraind latent diffusiemodel dat leert de doelweergave te reconstrueren vanuit een opnieuw gerenderde bronweergave. Voor portretten detecteren ML-modellen gezichten en hun 3D-oriëntatie om automatisch optimale kadrering voor te stellen en wijde-hoekvervorming te corrigeren door virtuele camera-intrinsieke parameters aan te passen. De volledig automatische oplossing is beschikbaar als de tweede weergaveoptie binnen de Auto Frame-kandidaten in Google Foto's.