‘IBM maakte voor politie New York gezichtsherkenningssysteem dat etnisch kan profileren’

Stay tuned, abonneer!

Drie maanden geleden onthulde de American Civil Liberties Union dat webgigant Amazon gezichtsherkenningstechnologie in de Verenigde Staten aan bepaalde politiedepartementen geleverd had. Vandaag blijkt dat IBM samengewerkt heeft met de New York City Police Department om een systeem te ontwikkelen dat de politie ertoe in staat stelt om naar mensen te zoeken aan de hand van bepaalde fysieke kenmerken.

The Intercept meldt op basis van “vertrouwelijke zakelijke documenten” en interviews met ontwikkelaars die aan het project gewerkt hebben, dat IBM ruwweg tien jaar geleden begonnen is met de ontwikkeling van de techniek. Daarbij moesten mensen geïdentificeerd kunnen worden op huidskleur, haarkleur, geslacht, leeftijd en bepaalde gezichtskenmerken.

In de praktijk getest

De kunstmatige intelligentie werd getraind op basis van “duizenden” foto’s van ruwweg vijftig camera’s die de NYPD heeft. Op basis daarvan leerde het systeem enorm veel zaken herkennen, waaronder dus huidskleur, kleur van kleren, maar ook lichamelijke kenmerken en dingen als onbewaakte pakketjes, mensen die verboden terrein betreden en auto’s die tegen het verkeer inrijden.

Naar verluidt is het system in 2012 in de praktijk getest. Woordvoerder Peter Donald stelt tegenover The Intercept dat de tools alleen geëvalueerd zijn en dat de politieagenten die ermee werkten de instructie kregen om huidskleur niet mee te nemen in zoekopdrachten. Verschillende “gekozen leiders en belanghebbenden” zouden afweten van het project, al is het niet openbaar bekend gemaakt.

Niet in gebruik

Het is niet zeker wat de resultaten van het programma of de proef zijn, maar uiteindelijk werd het niet breder uitgerold. Ook wees het politiedepartement een versie van de software af die mensen op etniciteit kan identificeren. Daarnaast benadrukt Donald dat alle foto’s vertrouwelijk behandeld zijn.

In zijn statement laat hij weten dat er inderdaad beeldmateriaal met IBM gedeeld is, maar dat het bedrijf een contract heeft, waarin staat dat alle gegevens vertrouwelijk behandeld moeten worden, ook als het contract opgezegd wordt. IBM zelf stelt tegenover VentureBeat dat het toegewijd is aan de ontwikkeling en het gebruik van nieuwe technologie en dat het waarde hecht aan diversiteit en inclusie in zijn datasets.

Controverse rond gezichtsherkenning

Ondertussen woedt er in sommige landen, waaronder in de Verenigde Staten, een fel publiek debat rond het gebruik van gezichtsherkenningstechnologie door overheden. Zo demonstreerde de ACLU dat Amazons Rekognition 28 Congresleden als crimineel identificeerde. Eerder was al gebleken dat bij de Londense Metropolitan Police voor elke juiste identificatie, er 49 fouten werden gemaakt.

Dat doet bij veel critici vragen rijzen over de toepasbaarheid van de technologie. Immers worden mensen bij sommige toepassingen verdacht gemaakt, terwijl ze mogelijk gewoon onschuldig zijn. Daarom zou gezichtsherkenningstechnologie dan ook nog niet klaar zijn voor een bredere uitrol.