AI-onderzoekers vragen AWS te stoppen met verkoop Rekognition aan politie

Een groep van ruim twintig kunstmatige intelligentie (AI) onderzoekers binnen de tech en academische wereld heeft Amazon Web Services (AWS) gevraagd om te stoppen met de verkoop van de gezichtsherkenningssoftware Rekognition aan de politie.

Onder de critici over het gebruik van Rekognition door de politie zitten onder meer Yoshua Bengio, die onlangs de Turing Award won, evenals voormalig Amazon principal scientist en Caltech-professor Anima Anandkumar. Ook bevat de groep onderzoekers naar computer vision en machine learning van Google AI, Microsoft Research en Facebook AI Research, schrijft Venturebeat.

Rekognition is gebruikt door politie in Florida en Washington en zou ook aangeboden zijn aan de Amerikaanse Department of Homeland Security om immigranten te identificeren. “We roepen Amazon op om te stoppen met de verkoop aan Rekognition aan politie aangezien er geen regels en beperkingen zijn om misbruik te voorkomen”, aldus de onderzoekers in een open brief.

“Er zijn geen wetten of verplichte standaarden om er zeker van te zijn dat Rekognition op zo’n manier gebruikt wordt dat het geen burgerrechten schendt.” De onderzoekers citeren verder werk van privacyvoorvechters die zich zorgen maken dat politie en andere organisaties met weinig begrip van de technische aspecten van computer vision-systemen serieuze fouten kunnen maken. Denk daarbij aan het arresteren en in de gevangenis plaatsen van een onschuldig persoon.

Verkeerde resultaten

Daarnaast uit het onderzoek kritiek op Rekognition wegens zijn binaire classificatie van de seksuele geaardheid als man of vrouw, een aanpak die kan leiden tot verkeerde classificaties.

Ook wordt er kritiek geuit op uitspraken van deep learning- en AI-general manager Mathew Wood en global head of public policy Michael Punke, die de resultaten van een recente audit waaruit bleek dat de software vrouwen met een donkere huid in 31 procent van de gevallen ten onrechte als man identificeren, afwijzen.

De openbare brief van de onderzoekers komt ook een week nadat leden van het Amerikaanse Senaat een wet voorstelde om het gebruik van gezichtsherkenningssoftware te reguleren. Amazon zei toen dat het een vorm van regulatie of “wettelijk framework” verwelkomd. Microsoft drong er bij de federale overheid op aan om gezichtsherkenningssoftware te reguleren, voordat de politie en andere organisaties het misbruiken.