Hoe maak je video's van storyboards: een stapsgewijze methode van storyboarden tot animatie
OpenAI
De auteur deelt een methode voor het maken van verhalende video's met behulp van twee neurale netwerken: eerst wordt een storyboard gegenereerd, waarna het frame voor frame wordt omgezet in video. Het proces wordt in detail beschreven aan de hand van een voorbeeldverhaal over een sneaker die tot leven komt, inclusief prompts voor beide fasen.
De auteur beschrijft een probleem: bij het direct genereren van video op basis van één tekstprompt raakt het model de plot en de visuele kwaliteit door elkaar. De oplossing is om het proces in twee stappen te splitsen. Eerst wordt een storyboard gemaakt: één afbeelding met meerdere genummerde panelen, die elk een aparte scène beschrijven. Hiervoor wordt een beeldgenerator gebruikt (bijvoorbeeld ChatGPT met GPT Image). Vervolgens wordt de video gegenereerd: elk storyboardpaneel wordt omgezet in een aparte scène met beweging, camera en geluid. Voor de video gebruikte de auteur de dienst Seedance 2 (en Seedance 2 mini) met een 4:5-formaat. Als voorbeeld wordt een volledig verhaal gegeven over een oplevende sportschoen: 's nachts in een winkel wordt de sportschoen wakker, ontsnapt om door de stad te wandelen en keert terug voordat de winkel opengaat. Volledige prompts voor beide stappen worden gegeven. De auteur benadrukt dat de methode universeel is en geschikt voor alle stijlen en genres.
Bron: Habr — хаб ИИ —
origineel