Google esittelee Auto Frame -toiminnon: neuroverkko muuttaa valokuvan perspektiiviä jälkikäteen

Google Research ja Google DeepMind ovat esitelleet Auto Frame -ominaisuuden, joka on nyt käytettävissä Google Photosissa. Se muokkaa valokuvia vaihtamalla kameran perspektiiviä oton jälkeen. Toisin kuin perinteinen rajaus, se tulkitsee valokuvan kolmiulotteisena kohtauksena, arvioi kullekin pikselille kolmiulotteisen pistekartan yhdessä alkuperäisen polttovälin kanssa ja käyttää sitten klassista kolmiulotteista renderöintiä simuloidakseen uutta kameran sijaintia ja sisäisiä parametreja. Renderöidyssä kuvassa on väistämättä reikiä kohdissa, joissa näkyisi aiemmin näkymätöntä sisältöä; nämä täytetään erityisesti koulutetulla latenttilla diffuusiomallilla, joka oppii rekonstruoimaan kohdenäkymän uudelleen renderöidystä lähdenäkymästä. Muotokuvissa koneoppimismallit tunnistavat kasvot ja niiden kolmiulotteisen suunnan ehdottaakseen automaattisesti optimaalista rajausta ja korjatakseen laajakulmavääristymää säätämällä virtuaalikameran sisäisiä parametreja. Tämä täysin automaattinen ratkaisu on käytettävissä toisena versiointivaihtoehtona Auto Frame -ehdotuksissa Google Photosissa.