Genesis kan trainingstijden van decennia tot uren verkorten door gebruik te maken van 3D-werelden die uit tekst worden gegenereerd.
Op donderdag presenteerde volgens Ars Technica een grote groep onderzoekers van universiteiten en de particuliere sector Genesis. Dit is een nieuw open-source computersimulatiesysteem waarmee robots taken kunnen oefenen in een gesimuleerde realiteit. En dit 430.000 keer sneller dan in de ‘echte’ wereld. Onderzoekers kunnen ook een AI-agent gebruiken om 3D-fysicasimulaties te genereren vanuit tekstinvoeren.
Dankzij de versnelde simulatie kan een neuraal netwerk dat robots bestuurt, het virtuele equivalent van decennia besteden aan het leren oppakken van objecten, lopen of gereedschap hanteren in slechts enkele uren aan computertijd.
Enorme versnelling
“Een uur aan computertijd geeft een robot 10 jaar aan trainingservaring. Zo kon Neo in een oogwenk vechtkunst leren in de Matrix Dojo,” schreef Genesis-paperco-auteur Jim Fan op X. Fan, die zegt een “kleine rol” te hebben gespeeld in het onderzoek, heeft eerder aan verschillende robotsimulatieprojecten gewerkt voor Nvidia.
Men lanceert Genesis terwijl robotica-onderzoekers op zoek zijn naar betere tools om robots in virtuele omgevingen te testen en trainen. Dit, voordat ze in de echte wereld worden ingezet. Snelle, nauwkeurige simulaties helpen robots complexe taken sneller te leren. En ze verminderen de behoefte aan dure fysieke tests.
Het Genesis-platform, ontwikkeld door een groep onder leiding van Zhou Xian van Carnegie Mellon University, verwerkt fysicaberekeningen tot 80 keer sneller dan bestaande robotsimulatoren. Denk daarbij aan Nvidia’s Isaac Gym. Het maakt gebruik van grafische kaarten vergelijkbaar met die in videogames om tot 100.000 simulaties tegelijk uit te voeren. Dit is cruciaal voor het trainen van de neurale netwerken die toekomstige robots in de echte wereld zullen besturen.
“Als een AI 1.000 robots kan besturen om 1 miljoen vaardigheden uit te voeren in 1 miljard verschillende simulaties, dan zou het ‘gewoon kunnen werken’ in onze echte wereld, die slechts één punt is in de enorme ruimte van mogelijke realiteiten,” schreef Fan in zijn post op X.
Dynamische werelden genereren
Het team kondigde ook aan dat het mogelijk is om zogenaamde “4D dynamische werelden” te genereren— waarschijnlijk “4D” genoemd omdat het een 3D-wereld in beweging over tijd simuleert. Het systeem gebruikt vision-language models (VLM’s) om complete virtuele omgevingen te genereren op basis van tekstbeschrijvingen. Dit is vergelijkbaar met ‘prompts’ in andere AI-modellen. Het maakt hierbij gebruik van Genesis’ eigen simulatie-API’s om de werelden te creëren.
De door AI gegenereerde werelden bevatten naar verluidt realistische fysica, camerabewegingen en objectgedrag, allemaal gebaseerd op tekstcommando’s. Het systeem produceert vervolgens fysisch nauwkeurige ray-traced video’s en gegevens die robots kunnen gebruiken voor training.
Snellere creatie van robottests
Dit op tekst gebaseerde systeem stelt onderzoekers in staat complexe testomgevingen voor robots te creëren door natuurlijke taalcommando’s te typen in plaats van ze handmatig te programmeren. “Traditioneel vereisen simulatoren enorm veel handmatige inspanning van artiesten: 3D-assets, texturen, scène-indelingen, enzovoort. Maar elke component in de workflow kan worden geautomatiseerd,” schreef Fan.
Met de engine van Genesis kan ook karakteranimatie, interactieve 3D-scènes, gezichtsanimatie en meer worden gegenereerd. Dit opent mogelijkheden voor artistieke projecten, maar kan ook leiden tot realistischere AI-gegenereerde games en video’s, waarbij een gesimuleerde wereld in gegevens wordt opgebouwd in plaats van alleen de statistische weergave van pixels, zoals bij videodiffusiemodellen.
Genesis is nog in actieve ontwikkeling op GitHub, waar het team bijdragen van de gemeenschap accepteert.
De kracht van Python
Het platform onderscheidt zich van andere 3D-simulatoren voor robottraining door Python te gebruiken voor zowel de gebruikersinterface als de kern van de fysica-engine. Andere engines gebruiken C++ of CUDA voor hun onderliggende berekeningen, terwijl ze Python-API’s aanbieden. Genesis kiest echter voor een Python-first benadering.
Belangrijk is dat de niet-propriëtaire aard van het Genesis-platform supersnelle robottrainingssimulaties gratis beschikbaar maakt voor elke onderzoeker via eenvoudige Python-commando’s op standaard computers met gewone hardware.
Voorheen vereiste het uitvoeren van robotsimulaties complexe programmering en gespecialiseerde hardware, zegt Fan in zijn aankondiging van Genesis. “Robotica zou een maanmissie-initiatief moeten zijn dat eigendom is van de hele mensheid,” schreef hij.