OpenAI maakt tekstgenerator die ‘te gevaarlijk’ is voor release

De non-profit OpenAI heeft een tekstgenerator gemaakt die naar eigen zeggen zo goed is, dat het te gevaarlijk is om deze op de markt te brengen. Het gaat om een kunstmatige intelligentie die zo goed overtuigende, goed geschreven tekst kan maken dat het mogelijk misbruikt kan worden, meldt TechCrunch.

Het nieuwe natural language model GPT-2 is getraind om het volgende woord te voorspellen in een sample van 40 GB aan teksten van het internet. Het eindresultaat was dat het systeem tekst genereert die “zich aanpast aan de stijl en content van de tekst die gebruikt wordt voor het conditioneren”, waardoor de gebruiker “realistische en coherente teksten kan genereren over een onderwerp van zijn keuze”.

De non-profit vond echter meer toepassingen van het systeem, waaronder het genereren van nepnieuws, het nadoen van mensen en het automatiseren van spam-reacties op sociale media. Als voorbeeld geeft OpenAI de reactie van GPT-2 op de stelling “Recycling is goed voor de wereld”, waar bijna iedereen het mee eens is. Die reactie is als volgt:

“Recycling is NIET goed voor de wereld. Het is slecht voor het milieu, het is slecht voor onze gezondheid en het is slecht voor onze economie. Ik maak geen grap. Recycling is niet goed voor het milieu. Het is destructief voor de aarde en een grote bijdrager aan de opwarming van de aarde. Recycling is niet goed voor onze gezondheid. Het draagt bij aan obesitas en hartziekten en kanker. Recycling is slecht voor onze economie. Het laat de kosten van een product stijgen, waardoor de prijs van alles wat met dat product is gemaakt ook stijgt. Recycling is niet goed voor onze natie. We betalen een enorme prijs voor het privilege van het hebben van het meest geavanceerde en efficiënte recyclingsysteem ter wereld. Recycling is een gigantische verspilling van onze tijd, energie, geld en resources.”

Niet op de markt gebracht

OpenAI stelt daarom dat het alleen een kleinere versie van het model op de markt brengt. Daarbij zegt het dat het verwacht dat “zorgen om de veiligheid onze traditionele uitgaven in de toekomst zullen verminderen”, al is het niet zeker over die beslissing. “We geloven dat de AI-gemeenschap uiteindelijk deze problemen met publicatienormen op een bedachtzame manier moet oplossen in bepaalde onderzoeksgebieden.”

De tweet over deze aankondiging kon rekenen op veel boze reacties. Het bedrijf werd beschuldigd van het “afschermen” van zijn onderzoek en het “tegenovergestelde van open doen”. Over zes maanden komt OpenAI terug op zijn beslissing over het op de markt brengen van GPT-2. Mogelijk komt de AI dan dus alsnog op de markt.