Nvidia ontwikkelt manier om videobeelden te veranderen in virtuele omgevingen

Nvidia ontwikkelt een nieuwe manier om virtuele omgevingen veel realistischer te maken. Het bedrijf heeft daarvoor een techniek gebouwd die het mogelijk maakt om videobeelden te veranderen in een virtuele omgeving. Games en virtual reality kunnen daardoor in de toekomst een stuk realistischer zijn.

Nvidia gebruikt zijn zelfontwikkelde supercomputer DGX-1, die draait op Tensor Core GPU’s, om video’s die het opgenomen heeft met de dashboardcamera van zijn zelfrijdende auto om te zetten naar virtuele omgevingen. De setup maakt het mogelijk om direct resultaat te boeken.

Virtuele omgevingen bouwen

Het onderzoeksteam zette een neuraal netwerk aan het werk en gebruikte de Unreal Engine 4 om direct frames te genereren. Vervolgens zette het bedrijf kunstmatige intelligentie aan het werk om die frames om te zetten naar afbeeldingen. Ontwikkelaars kunnen het resultaat daarvan vervolgens eenvoudig omzetten om te voldoen aan hun behoeften.

Volgens Bryan Catanzaro, vicepresident van Applied Deep Learning bij Nvidia, werkt zijn bedrijf al jaren aan nieuwe manieren om interactieve graphics te maken. “Dit is de eerste keer dat we dat met een neuraal netwerk kunnen doen. Neurale netwerken en dan specifiek generatieve modellen gaan de manier waarop we graphics maken veranderen.”

De gedachte is ook dat ontwikkelaars straks veel makkelijker en goedkoper virtuele content kunnen ontwikkelen. Ze kunnen immers snel opnames maken en die gebruiken om een virtuele omgeving mee te genereren. Voor de ontwikkelaars van games en virtual reality content is het in elk geval een mooie ontwikkeling: voor hen ontstaan er nieuwe mogelijkheden door video’s te gebruiken.

De technologie van Nvidia staat overigens wel nog relatief in de kinderschoenen. Momenteel is deze nog in ontwikkeling en hebben contentontwikkelaars een supercomputer nodig om de technologie aan te wenden. Het zal dus nog een tijdje duren voordat de technologie klaar is en gebruikt wordt om games mee te ontwikkelen.

Je kan op deze pagina (PDF) meer over het onderzoek van Nvidia lezen.