Google, Auto Frame 도입: 신경망이 사진 구도를 사후에 변경

Google Research와 Google DeepMind가 Auto Frame을 출시했습니다. 이 기능은 현재 Google 포토에 적용되어 있으며, 사진을 촬영한 후 카메라 각도를 변경하여 편집합니다. 기존 크롭과 달리 사진을 3D 장면으로 해석하여 픽셀당 3D 포인트 맵과 원래 초점 거리를 추정한 다음, 고전적인 3D 렌더링을 사용하여 새로운 카메라 위치와 내부 파라미터를 시뮬레이션합니다. 렌더링된 이미지에는 이전에 보이지 않던 콘텐츠가 나타나는 곳에 구멍이 필연적으로 생기는데, 이는 다시 렌더링된 소스 뷰에서 대상 뷰를 재구성하도록 학습된 특수하게 훈련된 잠재 확산 모델로 채워집니다. 인물 사진의 경우, ML 모델이 얼굴과 3D 방향을 감지하여 최적의 구도를 자동으로 제안하고 가상 카메라 내부 파라미터를 조정하여 광각 왜곡을 교정합니다. 완전 자동화된 이 솔루션은 Google 포토의 자동 프레임 후보군 내에서 두 번째 렌디션 옵션으로 제공됩니다.