AI Interactive Sketch & Fill maakt schetsen af

Wetenschappers van de Unviersity of California, de University of Oxford en Adobe Research hebben een kunstmatige intelligentie (AI) gemaakt dat suggesties voor een object kan maken bij ruwe schetsen van gebruikers. De onderzoekers omschrijven het Interactive Sketch & Fill-systeem in een paper.

“Image translation-modellen hebben veel succes getoond bij het pakken van een abstracte input als een edge map of een semantische segmentatiekaart, en dit vertalen naar een echte afbeelding”, aldus de auteurs van de paper.

“Door dit te combineren met een gebruikersinterface kan een gebruiker snel afbeeldingen maken in het doeldomein. Maar het afronden van een schets zonder feedback kan moeilijk zijn”, leggen de auteurs uit. Dit heeft er deels mee te maken dat ongetrainde mensen vaak moeite hebben met het tekenen van de juiste proporties en perspectieven van objecten en hun onderdelen.

“Daarom is het een stuk eenvoudiger met de huidige interactieve image translation-methodes om een realistisch lijkende afbeelding te maken door bestaande afbeeldingen aan te passen, in plaats van het maken van gehele nieuwe beelden.”

Ontwikkeling AI

Interactive Sketch & Fill is nu in staat om objectvormen te suggereren aan de hand van schetsen van gebruikers en om previews te leveren van het afgeronde werk. Om dat mogelijk te maken, werkten de onderzoekers aan een meervoudig systeem.

De onderzoekers maakten modules die vormen en het uiterlijk af konden ronden, om de aanbevolen vormen te updaten aan de hand van de schetsen. Ook gebruikten ze een GAN, een tweeledig neuraal netwerk dat bestaat uit generators die monsters maken en discriminators die proberen te raden wat de gegenereerde monsters zijn en wat echte monsters zijn. Dat moet de accuraatheid van de beelden verhogen.

Om het systeem te testen, gebruikten de onderzoekers twee open source-datasets – edges2shoes en CelebA-HQ – om objecten te renderen. De randen daarvan waren vereenvoudigd met een apart AI-model, om meer te lijken op lijnen die door mensen gemaakt zijn.

Resultaten

Nadat die tests afgerond waren, gingen de onderzoekers aan de slag met uitdagendere content. Dit was een set van 200 afbeeldingen met basketballen, kippen, koekjes, manen, sinaasappels, voetballen, aardbeien en meer. De beelden kwamen van zoekopdrachten op populaire zoekmachines.

De onderzoekers stellen dat het systeem in het overgrote deel van de gevallen in staat was om afbeeldingen in de correcte klasse te genereren. Volgens hen is dat een veelbelovende stap voor een uiteindelijk end-to-end-systeem.