Google esittelee Auto Framen: Neuroverkko muuttaa valokuvan perspektiiviä jälkikäteen

Google Research yhdessä Google DeepMindin kanssa on julkistanut uuden kuvanmuokkausmenetelmän, joka on nyt saatavilla Google Photos -sovelluksen Auto frame -toiminnossa. Käyttäjät voivat muuttaa kuvakulmaa kuvan ottamisen jälkeen – esimerkiksi kääntää kameraa paljastaakseen toisen puolen kasvoista tai korjata laajakulmaobjektiivin aiheuttamaa vääristymää. Toisin kuin perinteinen rajaus tai zoomaus, jotka eivät muuta perspektiiviä, uusi lähestymistapa tulkitsee kuvan kolmiulotteisena kohtauksena ja muuttaa automaattisesti virtuaalikameran sijaintia sen sisällä. Menetelmä koostuu kahdesta vaiheesta: ensin neuroverkko arvioi 3D-pistekartan ja alkuperäisen kameran parametrit (mukaan lukien polttovälin), sitten klassisen 3D-renderöinnin avulla luodaan kuva uusilla parametreilla, ja generatiivinen diffuusiomalli täydentää alueet, jotka eivät olleet näkyvissä alkuperäisessä kuvassa. Täyden automaation saavuttamiseksi käytetään koneoppimismalleja, jotka määrittävät kasvojen sijainnin ja suunnan, mikä on erityisen hyödyllistä muotokuville. Toiminto on saatavilla Google Photosissa Auto frame -ominaisuudessa ihmisiä sisältäville kuville – käyttäjä saa toisen kuvaversion, jossa kuvakulmaa on automaattisesti korjattu.