Google、Auto Frameを発表：ニューラルネットワークが写真の視点を事後変更

Google ResearchとGoogle DeepMindは、Google フォトで現在利用可能な新機能「Auto Frame」を発表しました。この機能は、撮影後にカメラの視点を変更して写真を編集します。従来のトリミングとは異なり、写真を3Dシーンとして解釈し、各ピクセルに対して元の焦点距離とともに3D点群マップを推定し、古典的な3Dレンダリングを使用して新しいカメラ位置と内部パラメータをシミュレートします。レンダリングされた画像には、以前は見えなかったコンテンツが現れるべき場所に穴が生じますが、これらは特別に訓練された潜在拡散モデルによって補完されます。このモデルは、再レンダリングされたソースビューからターゲットビューを再構成することを学習します。ポートレートでは、機械学習モデルが顔とその3D方向を検出し、最適なフレーミングを自動的に提案し、仮想カメラの内部パラメータを調整することで広角歪みを補正します。この完全自動のソリューションは、Google フォトのAuto Frame候補内で2番目のレンダリングオプションとして利用可能です。