Google présente Auto Frame : un réseau neuronal modifie rétroactivement la perspective des photos

Google Research, en collaboration avec Google DeepMind, a annoncé une nouvelle méthode d'édition d'images, désormais disponible dans la fonction Auto frame de Google Photos. Les utilisateurs peuvent modifier l'angle de vue d'une photo après sa prise : par exemple, tourner l'appareil pour découvrir une autre partie du visage ou corriger la distorsion due à un objectif grand-angle. Contrairement au recadrage ou au zoom traditionnel, qui ne modifient pas la perspective, cette nouvelle approche interprète la photo comme une scène tridimensionnelle et change automatiquement la position de la caméra virtuelle à l'intérieur de celle-ci. La méthode comporte deux étapes : d'abord, un réseau de neurones estime la carte de points 3D et les paramètres de la caméra d'origine (y compris la distance focale), puis, à l'aide d'un rendu 3D classique, il crée une image avec les nouveaux paramètres, tandis qu'un modèle de diffusion génératif complète les zones qui n'étaient pas visibles dans l'original. Pour une automatisation complète, des modèles de machine learning sont utilisés pour déterminer la position et l'orientation des visages, ce qui est particulièrement utile pour les portraits. La fonction est disponible dans Google Photos dans le cadre de Auto frame pour les photos de personnes : l'utilisateur reçoit une deuxième version du cadre avec un angle automatiquement corrigé.