Comment créer des vidéos à partir de storyboards : une méthode étape par étape du storyboard à l'animation
OpenAI
L'auteur partage une méthode pour créer des vidéos narratives à l'aide de deux réseaux de neurones : d'abord, un storyboard est généré, puis il est transformé image par image en vidéo. Le processus est décrit en détail à l'aide de l'exemple d'une histoire où une basket prend vie, y compris les invites pour les deux étapes.
L'auteur décrit un problème : lorsqu'on génère une vidéo directement à partir d'un seul prompt textuel, le modèle mélange l'histoire et la qualité visuelle. La solution consiste à diviser le processus en deux étapes. Tout d'abord, un storyboard est créé : une seule image avec plusieurs panneaux numérotés, chacun décrivant une image distincte. Pour cela, on utilise un générateur d'images (par exemple, ChatGPT avec GPT Image). Ensuite, la vidéo est générée : chaque panneau du storyboard est transformé en une image animée, avec mouvement, caméra et son. Pour la vidéo, l'auteur a utilisé le service Seedance 2 (et Seedance 2 mini) au format 4 :5. En exemple, une histoire complète sur une chaussure de sport qui prend vie : la nuit, dans un magasin, la chaussure se réveille, s'enfuit pour se promener en ville et revient avant l'ouverture. Les prompts complets sont fournis pour les deux étapes. L'auteur souligne que la méthode est universelle et adaptée à tous les styles et genres.
Source: Habr — хаб ИИ —
original