Google Introduceert Auto Frame: Neuraal Netwerk Past Achteraf Perspectief van Foto Aan

Google Research heeft samen met Google DeepMind een nieuwe methode voor het bewerken van afbeeldingen aangekondigd, die al beschikbaar is in de functie Auto frame in Google Photos. Gebruikers kunnen de camerahoek van een foto achteraf wijzigen: bijvoorbeeld de camera draaien om een ander deel van het gezicht zichtbaar te maken, of de vertekening van een groothoeklens corrigeren. In tegenstelling tot traditioneel bijsnijden of zoomen, die het perspectief niet veranderen, interpreteert de nieuwe benadering de foto als een driedimensionale scène en verandert automatisch de positie van de virtuele camera daarin. De methode bestaat uit twee stappen: eerst schat een neuraal netwerk een 3D-puntenkaart en de parameters van de oorspronkelijke camera (inclusief brandpuntsafstand), vervolgens wordt met klassieke 3D-rendering een afbeelding met nieuwe parameters gecreëerd, en een generatief diffusiemodel vult de gebieden in die niet zichtbaar waren in het origineel. Voor volledige automatisering worden machine learning-modellen gebruikt die de positie en oriëntatie van gezichten bepalen, wat vooral nuttig is voor portretten. De functie is beschikbaar in Google Photos binnen Auto frame voor foto's met mensen: de gebruiker krijgt een tweede kaderversie met automatisch gecorrigeerde camerahoek.