Google führt Auto Frame ein: Neuronales Netzwerk ändert Bildperspektive nachträglich
Google/DeepMind
Google DeepMind
Google Research
Google hat in Google Photos die Funktion Auto Frame eingeführt, die mithilfe von Machine-Learning-Modellen und generativer KI die Perspektive von Fotos nach der Aufnahme verändert. Das System rekonstruiert eine 3D-Szene, passt Kameraposition und Brennweite an und füllt verdeckte Inhalte durch Diffusions-Inpainting auf. Es erkennt und korrigiert zudem automatisch Weitwinkelverzerrungen bei Porträts.
Google Research und Google DeepMind haben die Funktion „Auto Frame“ eingeführt, die jetzt in Google Photos verfügbar ist und Fotos bearbeitet, indem sie die Kameraperspektive nach der Aufnahme ändert. Im Gegensatz zu herkömmlichem Zuschneiden interpretiert sie ein Foto als 3D-Szene, schätzt eine 3D-Punktkarte pro Pixel zusammen mit der ursprünglichen Brennweite und verwendet dann klassisches 3D-Rendering, um eine neue Kameraposition und intrinsische Parameter zu simulieren. Das gerenderte Bild weist zwangsläufig Lücken auf, an denen zuvor unsichtbare Inhalte erscheinen würden; diese werden durch ein speziell trainiertes latentes Diffusionsmodell gefüllt, das lernt, die Zielansicht aus einer neu gerenderten Quellansicht zu rekonstruieren. Für Porträts erkennen ML-Modelle Gesichter und deren 3D-Orientierung, um automatisch die optimale Rahmung vorzuschlagen und Weitwinkelverzerrungen durch Anpassung der virtuellen Kamera-intrinsischen Parameter zu korrigieren. Die vollautomatische Lösung ist als zweite Darstellungsoption innerhalb der Auto-Frame-Kandidaten in Google Photos verfügbar.
Quelle: Google Research —
Original