Zo genereer je realistische mensen aan de hand van tientallen attributen
OpenAI
Midjourney
Stability AI
Een bedrijf moest datasets van fotorealistische menselijke afbeeldingen genereren voor een biometrische toepassing, gecontroleerd door tientallen attributen. Het team vergeleek DALL-E, Midjourney en Stable Diffusion en koos voor een lokale pijplijn op basis van Stable Diffusion. Het belangrijkste inzicht was dat het opsplitsen van attributen in fasen met behulp van img2img en ControlNet de voorspelbaarheid verbetert.
De klant had een dataset nodig van fotorealistische afbeeldingen van mensen, gebaseerd op tientallen gespecificeerde attributen zoals leeftijd, geslacht, gelaatstrekken en haar. De grootste uitdaging was het beheersen van zoveel attributen, aangezien het plaatsen van alles in één prompt conflicten veroorzaakte en kenmerken verloren gingen. Het project werd uitgevoerd door het team van Singularis vóór de huidige generatie van generatieve diensten. Zij vergeleken DALL-E, Midjourney en verschillende versies van Stable Diffusion, en de klant koos voor een lokale oplossing op basis van Stable Diffusion. De pijplijn gebruikte meerdere benaderingen: tekst-naar-afbeelding voor basisafbeeldingen, afbeelding-naar-afbeelding voor het toevoegen of wijzigen van kenmerken, ControlNet en IP Adapter voor op referentie gebaseerde controle, en Compel voor lange prompts. Ze creëerden ook een matrix voor attribuutcompatibiliteit om te bepalen welke kenmerken samen konden worden ingesteld en welke in fasen moesten worden toegevoegd. Het opsplitsen van complexe combinaties in fasen hielp om gezichtsgelijkendheid te behouden bij het toevoegen van accessoires zoals brillen of het veranderen van geslacht. Ze stelden ook trefwoordenadvies op voor elk attribuut om de voorspelbaarheid te verbeteren.
Bron: Habr — хаб ИИ —
origineel
