Google Memperkenalkan Auto Frame: Jaringan Saraf Mengubah Perspektif Foto Secara Retrospektif

Google Research dan Google DeepMind telah memperkenalkan Auto Frame, sebuah fitur yang kini tersedia di Google Photos yang mengedit foto dengan mengubah perspektif kamera setelah pengambilan gambar. Berbeda dengan pemotongan tradisional, fitur ini menafsirkan foto sebagai adegan 3D, memperkirakan peta titik 3D per piksel beserta panjang fokus asli, lalu menggunakan rendering 3D klasik untuk mensimulasikan posisi dan intrinsik kamera baru. Gambar yang dirender pasti memiliki lubang di mana konten yang sebelumnya tidak terlihat akan muncul; lubang-lubang ini diisi oleh model difusi laten yang dilatih secara khusus untuk merekonstruksi tampilan target dari tampilan sumber yang di-render ulang. Untuk potret, model ML mendeteksi wajah dan orientasi 3D-nya untuk secara otomatis menyarankan pembingkaian optimal dan memperbaiki distorsi sudut lebar dengan menyesuaikan intrinsik kamera virtual. Solusi yang sepenuhnya otomatis ini tersedia sebagai opsi rendisi kedua dalam kandidat Auto Frame di Google Photos.