AI-tools zorgen er niet voor dat ervaren ontwikkelaars productiever worden. In tegenstelling tot wat veel ontwikkelaars verwachten (en ervaren), vertraagt het gebruik van AI in de praktijk het ontwikkelwerk juist met 19 procent.
Dit blijkt uit de studie Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, van onderzoeksinstituut METR.Â
METR volgde zestien developers met gemiddeld vijf jaar ervaring die bijdragen aan zeer grote codebases terwijl, zij werkten aan programmeertaken uit hun eigen repositories. De taken varieerden van bugfixes tot nieuwe features en vergden gemiddeld ongeveer twee uur werk per taak.
Een randomized controlled trial verdeelde de deelnemers willekeurig in twee groepen. Eén met toegang tot AI-hulpmiddelen, waaronder de programmeerassistent Cursor Pro en geavanceerde modellen als Claude 3.5 en 3.7, en één groep zonder dergelijke hulp.
Onterecht vertrouwen in AI
De resultaten laten zien dat ontwikkelaars met AI gemiddeld 19 procent langer deden over hun taken dan degenen die zonder AI werkten. Opmerkelijk is dat zowel de deelnemende ontwikkelaars als externe experts vooraf juist voorspelden dat AI tot 24 procent tijdswinst zou leiden. Na afloop bleven veel deelnemers bovendien geloven dat AI hen hielp, ondanks de gemeten vertraging.
Volgens de onderzoekers zijn er meerdere mogelijke verklaringen voor dit onverwachte resultaat. Zo bleek dat de AI-tools vaak irrelevante of incorrecte codevoorstellen deden, die tijd kostten om te evalueren en te corrigeren. Ook worstelden de tools met het begrijpen van complexe projectstructuren en verloren ontwikkelaars tijd door contextwissels en het wachten op AI-suggesties. Andere potentiële verklaringen, zoals gebrek aan ervaring met AI-tools of afleiding door nieuwe functionaliteiten, bleken in deze studie niet doorslaggevend.
AI indrukwekkend bij beginnende programmeurs
Het onderzoek stelt belangrijke vragen bij het huidige enthousiasme over AI in software-ontwikkeling. Hoewel AI indrukwekkende resultaten laat zien op benchmarks en bij beginnende programmeurs, betekent dat niet automatisch dat ervaren ontwikkelaars er baat bij hebben in complexe, realistische werkomgevingen. De onderzoekers benadrukken dat het zinvol blijft om dergelijke claims empirisch te toetsen voordat bedrijven of teams massaal overstappen op AI-ondersteund programmeren.