De valse belofte van geautomatiseerde testtools

Apps & Software
De valse belofte van geautomatiseerde testtools

Al jaren verleiden verkopers van software testtools ondernemingen met de belofte van geautomatiseerde testsoftware. De realiteit is echter dat de meeste bedrijven nooit de gewenste resultaten hebben behaald met hun automatisering initiatieven.  

Recente onderzoeken laten blijken dat de succesratio van automatische testen rond de 20 procent ligt, en tussen de 26 en 30 procent voor Agile adaptors. Volgens Wayne Ariola van de SD Times is dit te danken aan enkele factoren.

Zo zijn de testing platformen niet ontworpen voor de huidige generatie. Hoewel ondernemingen op technisch vlak steeds zijn blijven evolueren over de jaren, zijn testtools achter gebleven. Ontwikkeling richt zich niet langer op het bouwen van client/server desktopapplicaties gebaseerd op kwartaalcycli. Bijna alles is veranderd sinds automatische testtools van bijvoorbeeld HP en IBM werden ontwikkeld. Het bedenken van nieuwe functionaliteiten voor oude platformen zal nooit hetzelfde zijn als het ontwikkelen van een oplossing die de behoeften van ondernemingen direct aanpakt.

Daarnaast zijn legacy script-based tests moeilijk te onderhouden. Wanneer actief aan een applicatie wordt gewerkt, kunnen scripts moeilijk te handhaven zijn. Hierdoor is het vaak sneller om nieuwe tests te maken dan de bestaande test te updaten. Hierdoor wordt de test alleen maar onverschilliger wat alleen maar meer foutieve resultaten laat zien. De combinatie van valse positieven in de tests, script errors en opgeblazen testsuites, creëren een last die maar weinig teams kunnen trotseren.

Ook is het software ontwikkelingsproces drastisch veranderd. Ondernemingen publiceren niet langer eens in het kwartaal hun ontwikkelingen, maar juist tweewekelijks of dagelijks om zo snel de nieuwste ontwikkelingen te verwerken. Testtools kunnen dit niet bijbenen, omdat testers vaak dagen of zelfs weken bezig zijn met toegang krijgen tot de desbetreffende testomgeving. De personen die de code creëren voelen zich verantwoordelijker voor de kwaliteit, omdat de code tijdig klaar moet zijn. Ontwikkelaars hebben echter de tijd en de toegang niet om realistische zakelijke end-to-end transacties te testen. Legacy-platformen zijn dan ook niet geschikt.

Met open-source testing tools kunnen in sommige gevallen specifieke problemen razendsnel met uitzonderlijke precisie vastgelegd worden. Echter bieden deze tools niet de mogelijkheid om naar het algehele plaatje te kijken, omdat ze zich richten op één probleem. In dit aspect zouden uitgebreidere testen een stuk beter werken, maar de dataverwerking hiervan duurt dan weer te lang.

Daarom moet de essentie van software testen veranderen, volgens Ariola. De uitdagingen in het software testing proces van vandaag kunnen niet opgelost worden met de ALM tools van gisteren. Daarom zal er een nieuwe generatie testtools moeten komen, die in staat is om continu alles te testen en die zich ook snel kan aanpassen aan het ontwikkeltempo van vandaag de dag.