Google führt Auto Frame ein: Neuronales Netz ändert Bildperspektive nachträglich

Google Research hat gemeinsam mit Google DeepMind eine neue Methode zur Bildbearbeitung angekündigt, die bereits in der Funktion "Auto Frame" in Google Photos verfügbar ist. Nutzer können den Blickwinkel einer Aufnahme nach der Erstellung ändern: zum Beispiel die Kamera drehen, um einen anderen Teil des Gesichts freizulegen, oder Verzerrungen durch ein Weitwinkelobjektiv korrigieren. Im Gegensatz zu herkömmlichem Zuschneiden oder Zoomen, die die Perspektive nicht verändern, interpretiert der neue Ansatz das Foto als dreidimensionale Szene und verändert automatisch die Position der virtuellen Kamera darin. Die Methode besteht aus zwei Schritten: Zunächst schätzt ein neuronales Netz eine 3D-Punktkarte sowie die Parameter der ursprünglichen Kamera (einschließlich der Brennweite). Anschließend erzeugt es mithilfe klassischen 3D-Renderings ein Bild mit den neuen Parametern, und ein generatives Diffusionsmodell ergänzt Bereiche, die im Original nicht sichtbar waren. Für die vollständige Automatisierung werden Machine-Learning-Modelle eingesetzt, die die Position und Ausrichtung von Gesichtern bestimmen – besonders nützlich für Porträts. Die Funktion ist in Google Photos im Rahmen von "Auto Frame" für Fotos mit Menschen verfügbar. Der Nutzer erhält eine zweite Bildvariante mit automatisch korrigiertem Blickwinkel.