2min

Door AI-gegenereerde academische artikelen kunnen worden onderscheiden van menselijke teksten met behulp van een eenvoudige set gestandaardiseerde processen, zo blijkt uit een onderzoek.

Kunnen AI-diensten zoals ChatGPT met succes echte academische schrijvers imiteren? Een groep Amerikaanse onderzoekers zegt van niet. In feite zijn er veel manieren om AI-chatbots van mensen te onderscheiden. Dit wordt benadrukt door een onderzoek dat deze week is gepubliceerd in het tijdschrift Cell Reports Physical Science.

Op basis van de tekenen ontwikkelden de onderzoekers een hulpmiddel om door AI gegenereerde academische wetenschappelijke teksten te identificeren met een nauwkeurigheid van meer dan 99 procent.

Niet-techneuten helpen om AI te herkennen

Heather Desaire, een professor aan de Universiteit van Kansas en hoofdauteur van het onderzoek, legde het doel van hun project uit: “We hebben ons best gedaan om een toegankelijke methode te creëren, zodat zelfs middelbare scholieren met weinig begeleiding een AI-detector voor verschillende soorten schrijven kunnen bouwen.” Ze vervolgt in een artikel gepubliceerd in TechExplore: “Er is behoefte om AI-schrijfvaardigheid aan te pakken, en mensen hoeven geen graad in computerwetenschappen te hebben om bij te dragen aan dit veld”, voegde ze eraan toe.

Een AI-gedreven “culturele verschuiving” aanpakken

“ChatGPT heeft toegang tot kunstmatige intelligentie (AI) mogelijk gemaakt voor de massa’s, wat een cultuuromslag teweeg heeft gebracht in de manier waarop mensen werken, leren en schrijven”, beweert het onderzoek. “De noodzaak om menselijk schrijven te onderscheiden van AI is nu zowel kritisch als dringend”.

Om in deze behoefte te voorzien, ontwikkelden de onderzoekers een methode om tekst gegenereerd door ChatGPT te onderscheiden van (menselijke) academische wetenschappers. Dit berustte op gestandaardiseerde “classificatiemethoden”.

De aanpak gebruikt relatief eenvoudige kenmerken om mensen van AI te onderscheiden. Wetenschappers schrijven bijvoorbeeld lange paragrafen en hebben een voorliefde voor dubbelzinnig taalgebruik, aldus het onderzoek. Bovendien gebruiken echte mensen meer “dubbelzinnig” taalgebruik. Dit betekent dat ze vaak woorden gebruiken als “maar”, “echter” en “hoewel” om een punt dat ze maken te nuanceren. AI twijfelt echter niet aan zichzelf.

Met een set van 20 van zulke kenmerken bouwden de onderzoekers een model dat de auteur aanwijst als mens of AI. Dit zou voor meer dan 99 procent accuraat zijn. “Deze strategie zou verder kunnen worden aangepast en ontwikkeld door anderen met basisvaardigheden in supergecontroleerde classificatie”, beweren ze, “waardoor toegang mogelijk wordt tot vele zeer nauwkeurige en gerichte modellen voor het detecteren van AI-gebruik in academisch schrijven en daarbuiten”.

Tip: ‘ChatGPT gebaseerd op illegale sites, privégegevens en piraterij’