Comment générer des personnes réalistes selon des dizaines d’attributs

Le client avait besoin de générer un jeu de données d'images photoréalistes de personnes selon des dizaines d'attributs spécifiés tels que l'âge, le sexe, les traits du visage et les cheveux. La principale difficulté résidait dans le contrôle de tant d'attributs, car tout mettre dans une seule invite provoquait des conflits et une perte de caractéristiques. Ce projet a été réalisé par l'équipe Singularis avant la génération actuelle de services génératifs. Ils ont comparé DALL-E, Midjourney et diverses versions de Stable Diffusion, et le client a opté pour une solution locale basée sur Stable Diffusion. Le pipeline utilisait plusieurs approches : text-to-image pour les images de base, image-to-image pour ajouter ou modifier des caractéristiques, ControlNet et IP Adapter pour un contrôle basé sur des références, et Compel pour les invites longues. Ils ont également créé une matrice de compatibilité des attributs pour décider quelles caractéristiques pouvaient être définies ensemble et lesquelles devaient être ajoutées par étapes. La division des combinaisons complexes en étapes a aidé à maintenir la similarité faciale lors de l'ajout d'accessoires comme des lunettes ou lors d'un changement de sexe. Ils ont également préparé des recommandations de mots-clés pour chaque attribut afin d'améliorer la prévisibilité.