谷歌推出 Auto Frame：神经网络可事后改变照片视角

Google Research和Google DeepMind推出了Auto Frame功能，该功能现已登陆Google Photos，可在拍摄后通过改变相机视角来编辑照片。与传统的裁剪不同，它将照片解读为3D场景，估计每个像素的3D点图及原始焦距，然后利用经典3D渲染模拟新的相机位置和内参。渲染后的图像必然会在先前未见的区域出现空洞；这些空洞由经过专门训练的潜在扩散模型填充，该模型学习从重新渲染的源视图重建目标视图。对于人像，机器学习模型会检测人脸及其三维朝向，自动建议最佳取景，并通过调整虚拟相机内参来矫正广角畸变。这一全自动解决方案作为Google Photos中Auto Frame候选的第二渲染选项提供。