Het meten van de ontwikkelaarservaring is nog nooit zo urgent geweest als nu, nu AI een steeds belangrijkere rol speelt. Het is ook nog nooit zo complex geweest. Tijdens Atlassian Team ’26 Europe in Amsterdam kregen we de kans om hierover de diepte in te gaan met Justin Reock, adjunct-CTO van DX bij Atlassian. We bespraken onder andere hoe het Core 4 framework van DX de meting van R&D-productiviteit op een nieuwe manier doet. Verder keken we naar wat AI werkelijk doet met de gegevens over de ontwikkelaarservaring.
DX, iets meer dan een jaar geleden overgenomen door Atlassian, is gebouwd op een fundament van academisch onderzoek. Er bestonden drie toonaangevende meetkaders voor de productiviteit van ontwikkelaars: DORA, SPACE en DevEx. Volgens Reock waren drie afzonderlijke kaders simpelweg te veel. Daarom heeft DX deze samengevoegd tot één uniform systeem, genaamd DX Core 4.
“We hebben een framework ontwikkeld met de naam Core 4, en vervolgens hebben we daar een product omheen gebouwd”, legt Reock uit. De engine verzamelt twee soorten signalen: kwalitatieve signalen die worden verzameld via enquêtes en systeemstatistieken uit onder andere CI/CD pipelines en tools voor incidentbeheer. Deze signalen worden genormaliseerd tot primaire en secundaire Core 4-statistieken. Dit geeft technische leidinggevenden een definitie van R&D-productiviteit binnen de hele organisatie.
De Developer Experience Index (DXI)
Een belangrijk onderdeel van het Core 4 framework is de Developer Experience Index, of DXI. Dit is een samengestelde metric die is gebaseerd op 14 afzonderlijke factoren. Deze factoren hebben betrekking op gebieden zoals de kwaliteit van de documentatie, samenwerking tussen teams, foutopsporing in de productieomgeving, de lokale ontwikkelomgeving, de lokale iteratiesnelheid en incrementele oplevering. Elk van de factoren legt gegevens vast over het systeem, het proces, de cultuur en de omgeving waarin engineers werken.
De scoringsmethodologie is gebaseerd op de statistische procesbeheersingstheorie van W. Edwards Deming. Deze theorie stelt dat 90 tot 95% van de productiviteitsoutput van een organisatie het resultaat is van het systeem, niet van de individuele medewerker.
Uit de DXI-gegevens blijkt dat elke verbetering van één punt die een organisatie in haar DXI realiseert, de organisatie ongeveer 10 uur per jaar per ontwikkelaar oplevert.
Context switching is funest voor de productiviteit
De kwalitatieve signalen zijn duidelijk, vertelt Reock ons. Deep work is erg lastig geworden. Het resultaat is dat de productiviteit achteruit gaat. Het maakt niet uit of dit wordt veroorzaakt door te veel vergaderingen, voortdurende onderbrekingen, toegenomen tijden om applicaties te bouwen of slechte documentatie. Feit is dat context switching developers uit hun flow haalt.
“Soms zit ik in mijn flow en gaat het geweldig, en dan moet ik een uur wachten tot een build voltooid is. Dat is een context switch”, geeft Reock aan. “Of ik moet op zoek naar informatie, maar de documentatie is vreselijk of moeilijk toegankelijk.” Het grootste deel van de frictie waarmee ontwikkelaars te maken krijgen, komt uit de systemen waarin ze werken. Het heeft eigenlijk heel weinig met mensen te maken.
DX is geen ROI-calculator voor Atlassian
Een van de vragen die we aan Reock stellen, is wat de rol van DX is in het grotere geheel van Atlassian. Dat wil zeggen: gezien het feit dat het eigen platform van Atlassian een groot deel uitmaakt van de systemen die worden gemeten, meet DX dan simpelweg het rendement op de investering van Atlassians eigen tools? Volgens Reock bestaat DX al vijf jaar en is het begonnen als een op zichzelf staand bedrijf. Het product werkt niet op het moment dat het klanten probeert te beperken in wat ze kunnen gebruiken.
“Zodra we mensen in een hokje proberen te plaatsen zodat ze alleen een bepaalde set tools gebruiken, faalt ons product”, zegt hij. Teams die GitLab of GitHub gebruiken, hebben nog steeds behoefte aan het vastleggen van hun CI pipeline en statistieken voor broncodebeheer. Waar er synergieën bestaan met Atlassian-tools, zoals het inzicht in de ROI van een migratie naar Atlassian Cloud of de implementatie van Rovo, kan DX dat meten, maar dat is niet de primaire insteek, volgens Reock. De flexibiliteit op het gebied van tools werd tijdens de overname dan ook expliciet gewaarborgd.
Complexe impact van AI op de ontwikkelaarservaring
Natuurlijk is de impact van AI tegenwoordig een van de grootste gespreksonderwerpen, ook als het gaat om de ontwikkelaarservaring. Aan de positieve kant is de documentatie duidelijk verbeterd. Reock noemt een stijging van ongeveer 12% in de hele sector. Aangezien documentatie alom wordt gehaat en doorgaans chronisch verouderd is, is dit een betekenisvolle vooruitgang.
Twee andere factoren hebben voor een nieuwe spanning gezorgd. De onderhoudbaarheid van de code is in de hele sector verbeterd doordat AI-assistenten en -agenten de code leesbaarder maken. Change confidence, oftewel het vertrouwen dat ontwikkelaars voelen wanneer ze wijzigingen aanbrengen, is echter bijna twee keer zo sterk gedaald als de onderhoudbaarheid van de code is gestegen.
Bovendien is de omvang van pull requests het afgelopen jaar bijna verdrievoudigd. Alle statistieken moeten samen worden bekeken om een volledig beeld te krijgen: onderhoudbaarheid van de code, het vertrouwen in wijzigingen, de omvang van pull requests en incrementele levering.
Ontwikkelaars vormen niet de bottleneck
DX-gegevens waarin groepen intensieve AI-gebruikers worden vergeleken met minder intensieve AI-gebruikers, leveren een contra-intuïtief resultaat op. In veel gevallen is de end-to-end cyclus juist langer voor intensieve AI-gebruikers, tot wel 5 tot 10% langer. De programmeerfase zelf is verkort, maar de beoordelings- en implementatiefasen duren langer.
Deze specifieke bevinding heeft ertoe geleid dat de volledige product development cyclus (PDLC) nader onder de loep is genomen, en niet alleen de leveringscyclus van de software. Wanneer de codeerfase vrijwel geen tijd meer kost, is het duidelijk dat de daadwerkelijke vertragingen in het proces upstream zitten. Denk aan het bedenken van ideeën en het definiëren van vereisten, om maar een paar voorbeelden te noemen.
De ROI van AI is er nog niet
Reock is heel duidelijk over wat AI op dit moment oplevert. “De reden dat we zo’n moeite hebben om de ROI van AI te vinden, is omdat die niet bestaat. Nog niet,” stelt hij. Om dat te bereiken, moeten we eerst de knelpunten identificeren en oplossen die verhinderen dat de voordelen er daadwerkelijk komen.
Reock wijst met name op de bottleneck bij het reviewen van code. Naarmate het percentage door AI gegenereerde code binnen een organisatie toeneemt, laten DX-gegevens een bijna perfect lineair verband zien met de time to first review van de code. Organisaties waar door AI gegenereerde code minder dan 50% van de output is, zien een time to first review van ongeveer 35 tot 40 minuten. Bij organisaties waar 80 tot 90% van de code door AI wordt gegenereerd, stijgt dat cijfer tot 80 tot 90 minuten. Senior developers, die grotere volumes van omvangrijkere pull requests moeten beoordelen, melden dat ze uitgeput raken. Deze trend is ook zichtbaar in open-sourcecommunities, waar sommige beheerders het indienen van door AI gegenereerde code nu expliciet verbieden.
Ontwikkelaarsvreugde is meetbaar
Het laatste onderwerp dat we met Reock bespreken, is iets waar hij al sinds zijn tijd bij Gradle bij betrokken is: het plezier van ontwikkelaars. Dit principe, ontleend aan de Mozilla Foundation, stelt dat het plezier van ontwikkelaars gelijk staat aan hun productiviteit. Er zit ook neurowetenschap achter, zegt hij. Het wisselen van context heeft invloed op de prefrontale cortex, wat cognitieve vermoeidheid versnelt. Door het wisselen van context te verminderen, blijft het brein van engineers langer in een productieve toestand.
DX beschikt over data die de Developer Experience Index koppelen aan statistieken zoals het percentage mislukte wijzigingen en het defectpercentage. Hieruit blijkt dat minder druk leidt tot een hogere kwaliteit. AI kan hier ook aan bijdragen: uit een METR-onderzoek bleek, ondanks de methodologische tekortkomingen, dat ontwikkelaars die AI-tools gebruikten een subjectief gevoel van flow rapporteerden, zelfs wanneer objectieve statistieken een ander beeld gaven.
Wat betreft de vraag of ontwikkelaars door AI zullen worden vervangen, sluit Reocks standpunt aan bij zijn datagestuurde aanpak: “AI gaat je baan niet afpakken, maar iemand die echt goed is in AI zal je baan wel afpakken.”
Lees/bekijk/luister ook: Williams zet Atlassian overal in om die extra tiende van een seconde te winnen