Google Introduces Auto Frame: Neural Network Changes Photo Perspective Retroactively

Google Research bersama Google DeepMind mengumumkan metode baru pengeditan gambar yang kini tersedia di fitur Auto frame di Google Photos. Pengguna dapat mengubah sudut pandang foto setelah dibuat: misalnya, memutar kamera untuk menampilkan bagian wajah lain, atau memperbaiki distorsi lensa sudut lebar. Berbeda dengan pemotongan atau zoom tradisional yang tidak mengubah perspektif, pendekatan baru ini menafsirkan foto sebagai adegan tiga dimensi dan secara otomatis mengubah posisi kamera virtual di dalamnya. Metode ini terdiri dari dua tahap: pertama, jaringan saraf memperkirakan peta titik 3D dan parameter kamera asli (termasuk panjang fokus), kemudian dengan render 3D klasik menghasilkan gambar dengan parameter baru, dan model difusi generatif melengkapi area yang tidak terlihat di aslinya. Untuk otomatisasi penuh, digunakan model pembelajaran mesin (ML) yang menentukan posisi dan orientasi wajah, yang sangat berguna untuk potret. Fitur ini tersedia di Google Photos dalam Auto frame untuk foto bersama orang — pengguna mendapatkan opsi bingkai kedua dengan sudut pandang yang terkoreksi secara otomatis.