Google giới thiệu Auto Frame: Mạng nơ-ron thay đổi góc chụp ảnh sau khi chụp

Google Research và Google DeepMind vừa giới thiệu Auto Frame, một tính năng hiện đã có trên Google Photos, cho phép chỉnh sửa ảnh bằng cách thay đổi góc máy sau khi chụp. Không giống như cắt ảnh truyền thống, tính năng này diễn giải bức ảnh như một cảnh 3D, ước tính bản đồ điểm 3D cho từng pixel cùng với tiêu cự gốc, sau đó sử dụng kỹ thuật dựng hình 3D cổ điển để mô phỏng vị trí và thông số nội tại máy ảnh mới. Hình ảnh được dựng tất yếu sẽ có các lỗ hổng ở những vùng trước đây không được nhìn thấy; các lỗ hổng này được lấp đầy bởi một mô hình khuếch tán tiềm ẩn (latent diffusion model) được huấn luyện đặc biệt để tái tạo góc nhìn mục tiêu từ góc nhìn nguồn đã được dựng lại. Đối với ảnh chân dung, các mô hình học máy (machine learning models - ML models) phát hiện khuôn mặt và hướng 3D của chúng để tự động đề xuất khung hình tối ưu và hiệu chỉnh méo góc rộng bằng cách điều chỉnh thông số nội tại máy ảnh ảo. Giải pháp hoàn toàn tự động này hiện có sẵn dưới dạng tùy chọn dựng hình thứ hai trong các đề xuất Auto frame trên Google Photos.