Intel heeft een nieuw AI-model, het Latent Diffusion Model for 3D (LDM3D)-model, ontwikkeld. Hiermee kunnen 360-graden 3D-beelden worden gemaakt.
Het in samenwerking met Blockade Maps ontwikkelde 3D AI-model LDM3D gebruikt generatieve AI-functionaliteit voor het maken van realistische 3D visuele content. In het bijzonder kan het LDM3D-model van de chipgigant 3D-beelden maken die een view hebben van 360-graden in de rondte.
Volgens Intel is het LDM3D-model een enorme ontwikkeling, aangezien huidige LLM-modellen voor generatieve AI-oplossingen alleen 2D-afbeeldingen genereren. Het LDM3D-model laat gebruikers via een tekstprompt zowel een beeld als een dieptemap genereren.
Door het hetzelfde aantal parameters als een ‘latent stable diffusion’ te gebruiken, biedt het AI-model echter een meer accurate relatieve diepte voor iedere pixel in een beeld. Dit in vergelijking met standaard bewerkingsmethoden voor het ‘schatten van diepte’ in een beeld.
Training LDM3D-model
Het LDM3D-model is getraind met een dataset uit een subset van 10.000 voorbeelden van de onderzoeksdatabase LION-400M. Deze database bevat 200 miljoen image-caption pairs. De onderzoekers gebruikten daarnaast ook het door Intel ontwikkelde Dense Prediction Transformer (DPT) large-depth estimation-model. Dit model biedt zeer accurate relatieve diepte voor iedere pixel in een beeld.
Verder zijn een Intel AI supercomputer met Intel Xeon- processors en Intel Habana Gaudi AI accelerators gebruikt voor het trainen van het model.
Verwachtingen
De onderzoekers verwachten dat de ontwikkeling van het LDM3D-model een revolutie gaat betekenen voor hoe met visuele content wordt omgegaan. Zij vinden het model vooral geschikt voor het ontwikkelen van zogenoemde metaverse-applicaties en andere digitale ervaringen. Vooral sectoren als entertainment, maar ook architecten en andere ontwerpers kunnen hiervan profiteren.
In de nabije toekomst moeten het LDM3D-model en DepthFusion nog meer mogelijkheden scheppen voor multi-view generatieve AI-mogelijkheden en computer vision, geeft Intel aan.
Het LDM3D-model is nu open source beschikbaar om ontwikkelaars de kans te geven hun eigen toepassingen te maken en een ecosysteem op te zetten.
23 uur geleden
Expert bijdrage
