Nvidia maakt virtuele 3D-objecten van 2D-afbeeldingen

Abonneer je gratis op Techzine!

Onderzoekers van Nvidia heeft een deeplearning-engine ontwikkeld die in staat is 3D-objecten te maken van een enkele foto. De tool kan door bijvoorbeeld architecten of gameontwikkelaars gebruikt worden om eenvoudig objecten aan mock-ups toe te voegen.

Met GANverse3D, zoals Nvidia de tool noemt, worden objecten in een tweedimensionale afbeelding opgeblazen tot een 3D-model. In een blogpost over de tool richt Nvidia zich vooral op het scannen van auto’s, al worden er ook voorbeelden met dieren getoond. Het neurale netwerk hoeft slechts één foto van een auto gevoerd te krijgen om er vervolgens een volledig model van te maken. Nvidia laat als voorbeeld zien hoe een foto van Knight Rider-auto KITT in een 3D-omgeving kan worden getransformeerd.

Eenvoudig objecten toevoegen aan virtuele werelden

Nvidia denkt dat GANverse3D vooral van pas komt voor bijvoorbeeld architecten, ontwerpers of gameontwikkelaars. Die kunnen met de tool eenvoudig nieuwe objecten aan hun mock-ups toevoegen, zonder dat ze zelf expertise in 3D-modelleren hebben of een bak geld hoeven uit te geven aan bestaande renders.

“We hebben een GAN-model in een zeer efficiënte datagenerator veranderd, zodat we 3D-objecten kunnen maken van elke 2D-afbeelding op het internet”, vertelt Wenzhen Chen, onderzoekswetenschapper bij Nvidia en leider van het project.

“Omdat we met echte afbeeldingen getraind hebben in plaats van de typische pijplijn die van synthetische data afhankelijk is, kan de AI beter naar applicaties in de echte wereld generaliseren”, aldus Jun Gao, die ook aan het project heeft gewerkt.

Gebruik van een GAN

Omdat er weinig datasets zijn waarbij hetzelfde object vanuit verschillende hoeken wordt opgenomen, wordt er meestal van 3D-datasets als ShapeNet gebruikgemaakt om een AI te maken die 2D-afbeeldingen in 3D-modellen kan veranderen. Dergelijke systemen kunnen echter minder goed met data uit de echte wereld, zoals afbeeldingen op het internet.

Daarom heeft Nvidia gebruikgemaakt van een generatief antagonistennetwerk (GAN)-model om van de afbeeldingen op het internet in te zetten als datagenerator. Het uiteindelijke model is getraind op 55.000 afbeeldingen van auto’s en wist betere resultaten neer te zetten dan een model op basis van de Pascal3D-dataset.

Het geheel is een extensie op ne Nvidia Omniverse-platform en kan draaien op Nvidia RTX-gpu’s. Meer informatie over het project is te vinden in de paper die de onderzoekers van het Nvidia AI Research Lab in Toronto over het project geschreven hebben. Of en wanneer eindgebruikers zelf met de technologie kunnen spelen, is niet bekend.

Tip: Cloudera en Nvidia willen GPU’s naar meer AI-toepassingen brengen