Toen Skype zichzelf aan een stresstest wilde onderwerpen, stuitte het op een probleem. Elk bedrijf dat aanbood om Skype’s software op de pijnbank te leggen, schoot tekort. Ervins Grinfelds en Andrejs Frisfelds vonden de oplossing: bouw de testbank waar elk techbedrijf van droomt. Het eindresultaat is TestDevLab, een in Letland geboren QA-testprovider die dagelijks technologie tot het uiterste laat gaan.
Zowel Grinfelds als Frisfelds zijn medeoprichters en tot op de dag van vandaag mede-CEO’s van het bedrijf. Dertien jaar na de oprichting is TestDevLab tot ver buiten Letland gegroeid. Er werken 150 mensen in Riga, maar de 500 medewerkers zijn ook verspreid over Málaga (Spanje), Skopje (Noord-Macedonië), Tartu (Estland) en Vilnius (Litouwen). We hebben Zoom al genoemd, de sterspeler onder de vele klanten van TestDevLab, maar er zijn ook deals gesloten met Microsoft, Orange, Twilio, Pinterest en nog veel meer.
Het werkterrein van het bedrijf reikt ook veel verder dan software, zoals blijkt uit de schat aan smartphones die continu batterijtests ondergaan. IoT-devices zoals gehoorapparaten of aircosensoren worden ook aan de tand gevoeld. Hoewel de klantenkring divers is, zorgen de contracten met de grote spelers voor 60 procent van de omzet van TestDevLab.
Software tot het uiterste drijven
Zoom laat de wereld trots kennismaken met de bevindingen van TestDevLab. Deze testresultaten variëren van latency-benchmarks tot het simuleren van videocalls met 1000 deelnemers of meer. In confrontaties met grote rivalen Google Meet, Microsoft Teams en Webex, laten videokwaliteitsmetingen zien dat Zoom de anderen onder verschillende omstandigheden overtroeft. Met name Cisco Webex steekt bij flinke package losses boven de rest uit. Ondertussen functioneert Teams now nauwelijks zodra het met een latency van meer dan 120 milliseconden te maken heeft. Als je een videocallplatform nodig hebt dat snel van netwerkproblemen herstelt, is Google Meet nét de beste optie, terwijl Webex het op zijn beurt juist moeilijk krijgt bij dergelijke omstandigheden.
Het is duidelijk waarom Zoom blij zou zijn met de eindresultaten. Elke benchmark plaatst ze ofwel in de middenmoot of duidelijk boven de rest. De bevindingen van TestDevLab zijn niet altijd op deze manier beschikbaar. Het is aan de klant om te beslissen of men ze openbaar wil maken.
Tip: Zoom is meer dan een videobelplatform en wil dat graag aan de wereld laten zien
Ook al zijn stresstesten een spel van getallen, sommige testbeds vormen geweldige showcases. In een latency-test worden bijvoorbeeld vooraf opgenomen webcambeelden getoond op de ene telefoon, terwijl een andere smartphone ernaast de andere kant van het gesimuleerde gesprek weergeeft. Terwijl QR-codes voorbijflitsen, registreert computer vision een latency die door het blote oog al probleemloos herkend wordt. De tests gaan niet alleen over het meten van latency, throughput en resolutie, zoals je zou denken. In plaats daarvan lijkt de geautomatiseerde score op de beoordeling die mensen zouden geven aan een specifiek videogesprek.
Deze metriek, bekend als de VQTDL (No-Reference Video Quality Assessment Algorithm) en gemaakt door TestDevLab, voorspelt menselijke feedback door subjectieve meningen te kwantificeren. Bijvoorbeeld: als visuele wezens verlangen wij mensen meer naar een consistent beeld dan naar perfect synchroon lopend geluid. Wanneer je willekeurig wordt uitgekozen om de kwaliteit van een videogesprek te beoordelen vlak voordat je Zoom of Teams verlaat, weet dan dat de algoritmes van TestDevLab net zo kieskeurig zijn als jij. Sterker nog, ze hebben nagenoeg dezelfde voorkeuren.
Diverse aanpak
TestDevLab heeft geen investering van buitenaf aangenomen. Het bedrijf heeft zijn oorsprong in de werkervaring bij Skype. Het trok dat bedrijf al vanaf het begin aan als klant. Sindsdien heeft TestDevLab zich volledig gericht op de toegevoegde waarde van een onafhankelijk testbureau, waar volgens mede-CEO Ervins Grinfelds niemand aan kan tippen. Terwijl concurrenten nog bezig zijn met een inhaalslag, bouwt TestDevLab voort op de sterke punten van zijn eigen algoritmen en goed doorgelichte testomgevingen. Grinfelds vertelt ons samen met Marketing Manager Jānis Tipainis dat het bedrijf niemand meer hoeft te benaderen, de klanten komen vanzelf.
Een ander sterk punt is de beveiliging ter plaatse, met goed bewaakte servers die aan het zicht zijn onttrokken. Grote Synology-racks bewaren data voor zes maanden, tenzij anders aangegeven, waarbij twaalf maanden voor veel klanten de maximale limiet is. Zoals je je kunt voorstellen, loopt de hoeveelheid data snel op door de onophoudelijke testpassen van verschillende aard. Constante penetratietests en andere beveiligingscontroles zijn erop gericht om datasecurity altijd te garanderen.
Deze factoren maken TestDevLab een aantrekkelijk aanbod voor velen. Het resultaat is dat het veel verschillende testscenario’s kan en moet dekken. Ons eerste bewijs hiervan is de zogenaamde “tapster”, een verzameling mechanische vingers dat geautomatiseerde scripts uitvoert om het gebruik van echte apparaten te simuleren. Onderweg kunnen apps worden betrapt op mankementen waar ontwikkelaars geen tijd of middelen voor hebben om ze te ontdekken.
Een nuttige bijkomstigheid is dat TestDevLab vroegtijdige toegang krijgt tot nieuwe telefoonmodellen en software. Dit maakt het mogelijk om ontwikkelaars van tevoren te waarschuwen als hun mobiele app de batterijduur verslindt of steeds meer geheugen bezet op nieuwere hardware. Een terugkerend probleem waar we op moeten letten zijn zogeheten “loopholes“, waarbij een app onnodig en herhaaldelijk systeem-resources opeist die hij niet nodig heeft, zelfs nadat het door de gebruiker is afgesloten. Veel telefoonaccu’s zijn vroegtijdig met pensioen gegaan als gevolg van dergelijke problemen. Hopelijk vindt TestDevLab deze loopholes voordat ze de kans krijgen om je telefoon het loodje te laten leggen.
Stresstests bestaan niet alleen uit het doorlopen van dezelfde scripts. Hoewel veel van de testprocessen geautomatiseerd zijn, moeten sommige handelingen handmatig worden uitgevoerd. Dit helpt ook om het grillige probleem te voorkomen dat geautomatiseerde tests zich op onvoorziene manieren misdragen. Hierdoor kunnen enorme testbatches verspilde moeite blijken. En ook al is het hoofdkwartier van TestDevLab in Riga goed voorzien van high-bandwidth, high-speed internet, daadwerkelijke gebruikers zijn dat vaak niet. Een speciaal apparaat voor netwerkdegradatie kan het gedrag van apps of apparaten testen onder de gevreesde omstandigheden van vliegveld-wifi, rurale gebieden met onbetrouwbare verbindingen of binnen tunnels. Met deze “network degradation device” kunnen testers kiezen tussen de verschillende soorten kwalen. Een draaiknop zorgt vervolgens voor analoge controle, waardoor TestDevLab het exacte breekpunt voor apps en apparaten kan vinden.
Nogmaals, deze breekpunten kunnen sterk verschillen. Sommige klanten moeten weten hoeveel resources nodig zijn in een scenario met veel traffic tijdens de Black Friday-verkoop. Als een winkelsite bezwijkt onder de druk van de meest lucratieve winkeldag van het jaar, kunnen binnen enkele minuten miljoenen aan winst verloren gaan. Een spin-off bedrijf genaamd Loadero, dat in 2020 vanuit TestDevLab is gelanceerd, kan dergelijke scenario’s op aanvraag loadtesten. Om dit punt te illustreren is er een kermisachtig spel met een handgreep waarmee spelers kunnen proberen een nepwinkel zo veel mogelijk te overladen met gesimuleerde traffic. Het aantal bezoekers neemt toe tot de website of de speldeelnemer bezwijkt onder de inspanning.
Verder dan de basis
Omdat TestDevLab QA-tests voor IoT-apparaten aanbiedt, moeten de soorten tests voortdurend worden aangepast aan de specifieke use case. Hoe goed maken airconditioningsensoren verbinding en wanneer valt de verbinding weg? Hoe nauwkeurig zijn de gerapporteerde locaties van huurscooters binnen een stad? TestDevLab probeert duidelijk voorop te lopen en beperkt zich niet tot het testen van software of specifieke hardware. Deze aanpak zorgt ervoor dat opkomende technologieën de testinfrastructuur krijgen die ze nodig hebben.
Waarom gaan techbedrijven niet intern testen? Dat scheelt weer facturen naar een QA-club als TestDevLab. Grinfelds en Tipainis vertellen ons dat klanten dat vaak wel doen, maar het terecht aan TestDevLab overlaten om het meeste harde werk te doen. Ook al hebben bedrijven als Microsoft, Zoom en Orange genoeg kapitaal om rond te smijten, kunnen zelfs conventionele softwareoplossingen beter worden doorgelicht door een onafhankelijke leverancier. Immers kan een partij als deze zijn expertise bundelen. Een app kan namelijk op schijnbaar vreemde manieren haperen. Een enkele leverancier ziet dit misschien niet als onderdeel van een industriebrede trend, die TestDevLab dankzij haar brede klantenkring veel eerder kan herkennen.
TestDevLab gaat regelmatig met klanten om de tafel om de prestatiecijfers en problematische scenario’s te bespreken die tijdens het testen zijn gevonden. Het is aan de klant om de oplossingen daadwerkelijk te implementeren. Er is hier een duidelijke taakverdeling die beide partijen moeten handhaven. Als het jouw software is, is het aan jou om deze zo goed mogelijk te maken. Wat TestDevLab doet, is de verbeterpunten aanwijzen.
Belangenbehartiging
Het Letse bedrijf laat klanten hun software ontwikkelen. Maar het verdedigt andere belangen op gebieden die een directe invloed heeft op de developer-wereld. Toegankelijkheid is een gebied waarop TestDevLab zich heel duidelijk positioneert. Onder de noemer TestDevLab A11y worden verschillende IT-oplossingen aan stresstests onderworpen op manieren die vroeger werden gegenegeerd.
Tipainis wijst erop dat ongeveer een miljard mensen wereldwijd een beperking heeft. Om het probleem in de duidelijkste bewoordingen te illustreren: terwijl de befaamde “digitale transformatie” onze interacties met banken, overheden, winkels en diensten fundamenteel heeft veranderd, zijn veel individuen hierin achtergelaten. Sommige banken hebben alleen een online aanwezigheid of vereisen in-app verificatie, maar hebben geen enkele functionaliteit waarmee bijvoorbeeld blinden of slechtzienden gebruik kunnen maken van hun aanbod. Veel browsers en websites houden geen rekening met mensen die geen muis kunnen bewegen of een touchscreen kunnen gebruiken. Dit heeft ertoe geleid dat slechtzienden geen vliegtickets bij Ryanair konden bestellen of een appartement konden kopen, om maar twee van de vele voorbeelden te noemen.
Het A11y-platform van het bedrijf brengt dergelijke problemen aan het licht en vormt het speerpunt voor een bredere inspanning. In oktober organiseert TestDevLab Quality Forge, een conferentie over digitale toegankelijkheid. Dit is TestDevLab’s bijdrage aan het veranderen van de mindset van ontwikkelaars. Hoe relevant bijvoorbeeld security, compliance en/of stabiliteit ook zijn, je moet rekening houden met alle gebruikers. Zelfs als medeleven niet genoeg beweegreden geeft, is het een simpel feit dat het een winstfactor kan zijn. Dit feit alleen al zou veel gewicht in de schaal moeten leggen. Een miljard potentiële klanten mislopen is vanzelfsprekend onzinnig.
Conclusie
Hoe professioneel de aanpak van TestDevLab ook is, er is veel creatieve kracht nodig. Dit lijkt misschien vreemd, omdat “testen” vaak wordt geassocieerd met routinematige taken waarbij de gebruiker niet betrokken is als de methodologie eenmaal is ingevoerd. Het gaat echter niet alleen om eenvoudige uitvoering, zoals blijkt uit ons bezoek aan Riga. Als het favoriete laboratorium voor veel wereldwijd bekende merken heeft TestDevLab een niche marktsegment gevonden dat niet veel concurrenten kunnen betreden.
Lees ook: Letland als broedplaats voor IT-successen: Zabbix en DeskTime zijn er het bewijs van