Google Introduces Auto Frame: Neural Network Changes Photo Perspective Retroactively

Google ResearchはGoogle DeepMindと共同で、新たな画像編集方法を発表しました。この手法はすでにGoogle Photosのオートフレーム機能で利用可能です。ユーザーは撮影後に写真のアングルを変更できます。例えば、カメラを回転させて顔の別の部分を表示したり、広角レンズの歪みを補正したりできます。従来のクロップやズームは視点を変えませんが、この新しいアプローチは写真を三次元シーンとして解釈し、その中で仮想カメラの位置を自動的に変更します。手法は二段階で構成されています。まず、ニューラルネットワークが3D点群マップと元のカメラパラメータ（焦点距離を含む）を推定し、次に古典的な3Dレンダリングを用いて新しいパラメータで画像を生成し、生成的拡散モデルが元の画像では見えていなかった領域を描画します。完全自動化のために、顔の位置と向きを決定するMLモデルが使用され、これはポートレートに特に有用です。この機能は、人物が写った写真に対するオートフレームの一部としてGoogle Photosで利用可能であり、ユーザーは自動的にアングルが補正された第二のフレーム候補を受け取ります。