2min

Tags in dit artikel

, , ,

ChatGPT levert in ongeveer de helft van de gevallen incorrecte code op. Dit constateren onderzoekers van Purdue University op basis van de antwoorden van de AI-tool van OpenAI op codevragen van Stack Overflow.

In het onderzoek testten de onderzoekers van Purdue University de antwoorden van ChatGPT op 517 Stack Overflow-vragen. Doel was te weten te komen welke dienst betere code-antwoorden geeft.

Onder meer werd gekeken naar de juistheid, de consistentie, de begrijpelijkheid en het bewustzijn van de betreffende antwoorden. De antwoorden werden ook onderworpen aan een taalkundige- en gevoelsanalyse en ook de mening van ontwikkelaars over de antwoorden werd gevraagd.

Antwoorden vaak incorrect

Uit de resultaten blijkt dat 52 procent van de ChatGPT-antwoorden incorrect zijn. Ook is 77 procent van de antwoorden te uitgebreid. Wel geven ontwikkelaars in bijna 40 procent van de codevragen de voorkeur aan de antwoorden van ChatGPT. Dit vanwege de begrijpelijkheid en de zeer gearticuleerde taalstijl. Niet tegenstaande dat 77 procent van deze antwoorden verkeerd is.

De onderzoekers ontdekten daarnaast dat wanneer een antwoord in ChatGPT duidelijk fout is, deze meteen wordt herkend door ontwikkelaars. Wanneer voor een antwoord meer onderzoek nodig is, dan is het voor gebruikers lastiger te herkennen of een antwoord fout is of wordt de graad van de fout onderschat.

De onderzoekers constateerden ook dat de foute antwoorden vaker werden geaccepteerd omdat deze meer tekst bevatten, gedetailleerder en inzichtelijk waren, een beleefder taalgebruik hebben en vaak een oplossing beloven.

Meer conceptuele fouten

Daarnaast werd geconstateerd dat de ChatGPT-antwoorden meer conceptuele fouten maken dan feitelijke fouten. Het onderzoek stelt dat dit komt doordat de AI-tool niet de onderliggende context van een Stack Overflow-vraag kan begrijpen.

Ook zou ChatGPT zich bezig houden met meer formele en analytische gedachten, meer gericht zijn op het bereiken van doelen en minder negatieve emoties tonen.

Lees ook: ‘ChatGPT maakt vooral onveilige code’