2min

OpenAI introduceert JukeBox, een open source AI voor het creëren van nieuwe muziek inclusief songteksten en zang.

De Jukebox AI is getraind op enorme datasets van muziek in bijna elk genre. De AI kan nummers creëren die in veel gevallen heel erg lijken op de artiesten waarop het werd getraind. Jukebox zoekt uit hoe het de stijl en het genre van de muziek kan imiteren. Ook wordt er geprobeerd om de zangstijl van specifieke zangers na te bootsen.

Het team van OpenAI koos ervoor om muziek na te bootsen met AI omdat het moeilijk is. Dit laten ze weten in een blogpost. “We laten zien dat onze modellen nummers kunnen produceren uit zeer uiteenlopende muziekgenres zoals rock, hiphop en jazz. Ze kunnen melodie, ritme, composities en klanken vastleggen voor een grote verscheidenheid aan instrumenten, evenals de stijlen en stemmen van zangers die met de muziek moeten worden geproduceerd.”

OpenAI gebruikt raw audio om Jukebox te trainen. Om hun resultaten te krijgen, gebruikten de onderzoekers eerst convolutional neural networks om ruwe audio te coderen en te comprimeren. Vervolgens gebruikten ze een transformator om nieuwe gecomprimeerde audio te genereren die vervolgens door upsampling weer in ruwe audio wordt omgezet.

Artiesten hoeven nog niet bang te zijn

De prestaties van Jukebox wekken indruk, maar artiesten hoeven niet te vrezen voor hun carrières. Tot nu toe klinken de nummers van Jukebox als rare, robotcovers van niet bestaande nummers. De AI kan bijvoorbeeld nog geen grote muzikale structuren nabootsen, zoals herhalende refreinen met coupletten tussendoor. Ook duurt het ongeveer negen uur om één minuut aan muziek te renderen met Jukebox. Ter plekke improviseren zit er dus voorlopig nog niet in.

Een ander potentieel probleem met Jukebox is de schending van copyrights. Jukebox kan een nieuw ‘nummer’ creëren in de stijl van Frank Sinatra en het resultaat komt dichtbij. Is het gebruiken van muzikale datasets van Frank Sinatra om nieuwe muziek in zijn gelijkenis te creëren in dit geval een schending van de copyright? Indien Jukebox verder evolueert en meer muzikale structuren kan nabootsen, kan dit wel eens vervelende gevolgen hebben. De Amerikaanse rapper Jay-Z heeft al eerder door middel van copyright strikes geprobeerd om gesynthetiseerde audio van zichzelf van YouTube af te krijgen.

OpenAI heeft een website gemaakt voor alle samples die Jukebox heeft gecreëerd zodat je er zelf door kunt browsen.