Nvidia’s Latte3D zet tekstprompts vrijwel direct om in 3D-afbeeldingen

Nvidia’s Latte3D zet tekstprompts vrijwel direct om in 3D-afbeeldingen

Nvidia komt met Latte3D, een AI-tool die tekst vlotjes vertaalt naar 3D-afbeeldingen van hoge kwaliteit. De objecten die het creëert zijn bruikbaar in ontwerpprocessen, reclame, videogames, virtual reality, landschapsarchitectuur en robotica.

“Een jaar geleden duurde het een uur voordat AI-modellen 3D-beelden van deze kwaliteit genereerden – en de huidige stand van de techniek is nu ongeveer 10 tot 12 seconden”, aldus Sanja Fidler, vice president AI-Research bij Nvidia. “We kunnen nu resultaten produceren die een orde van grootte sneller zijn, waardoor bijna-real-time tekst-naar-3D generatie binnen bereik komt voor makers in verschillende industrieën.”

Op zijn blog noemt Nvidia de tool een ‘virtuele 3D-printer’. Latte3D zou een belangrijke stap voorwaarts kunnen zijn in AI-contentgeneratie. Het kan draaien op een enkele GPU als de Nvidia RTX A6000. Dit maakt bijna-realtime tekst-naar-3D-generatie toegankelijk voor makers in verschillende sectoren en maakt tijdrovende renderprocessen uiteindelijk overbodig.

Meerdere 3D-beelden met één prompt

Door gebruik te maken van diverse trainingsdatasets en OpenAI’s ChatGPT, kan het model een breed scala aan tekstprompts begrijpen. Het genereert meerdere 3D-vormen voor elke prompt. Designers kunnen vervolgens hun gekozen vorm verfijnen en de grafische kwaliteit verbeteren door nieuwe tekstprompts toe te voegen. Deze flexibiliteit stelt gebruikers in staat om hun ideeën snel te testen en creaties te verfijnen zonder uitgebreide handmatige werkzaamheden of asset-libraries.

Bovendien gaat het leervermogen van Latte3D verder dan de initiële trainingsdataset en kunnen ontwikkelaars het model veelzijdiger maken door het relevante data voor verschillende sectoren te voeden. Latte3D zou hoveniers bijvoorbeeld kunnen helpen bij het maken van tuinontwerpen voor klanten, met elementen als bomen en struiken. Een andere toepassing is het maken van 3D-simulaties van gemeubileerde huizen om persoonlijke robotassistenten te trainen voor huis-tuin-en-keuken-scenario’s.

Latte3D is ontwikkeld in een AI-lab in Toronto en werd gepresenteerd tijdens de GPU Technology Conference (GTC) in San José, Californië, georganiseerd door Nvidia.

Lees meer: Nvidia verstevigt AI-koppositie bij GTC 2024 met Blackwell-GPU’s