Is gezichtsherkenning racistisch?

‘IBM zal niet langer software voor gezichtsherkenning of -analyse aanbieden. Het is tijd dat er een nationale dialoog komt over de wenselijkheid van het gebruik en toepassing van deze technologie door binnenlandse ordediensten.’ De timing van deze oproep door IBM-CEO Krishna is uiteraard geen toeval. De VS staan in rep en roer onder meer vanwege de methodes die politiediensten hanteren om mensen te ontwerpen aan controles. Bepaalde groepen, in het bijzonder zwarte Amerikanen, worden veel vaker gecontroleerd, blijkt uit onderzoek. ‘Ethnische profilering’, claimen tegenstanders. Op eerste zicht zou een technologie als gezichtsherkenning een (gedeeltelijke) oplossing bieden: laat niet die potentieel racistische politieagent beslissen wie te controleren, maar wel de computer. Maar daar wringt het schoentje: technologie is niet altijd neutraal.

Tot honderd keer meer valse positieven

Gezichtsherkenningstechnologie gebruikt kunstmatige intelligentie om het gelaat van die ene persoon uit een mensenmassa te pikken of om een foto te koppelen aan een beeld in een databank. Dat gaat steeds beter, maar ook een AI is niet onfeilbaar. Een false positive (iemand die foutief als een ander wordt herkend) of een false negative (iemand wordt niet herkend) is altijd mogelijk. Maar wat blijkt uit meerdere onderzoeken? Het foutgehalte ligt dikwijls veel hoger als het gaat om niet-witte mensen. Het US National Institute of Standards and Technology (NIST) publiceerde nog in december resultaten van een grootschalige test van 189 algoritmes.

Zo bleek dat de meeste algoritmes tien tot honderd keer meer false positives gaven bij Aziatische en Afrikaans-Amerikaanse gezichten bij het matchen van een foto met een ander. Wordt er oor een gezicht een match gezocht in een database, dan worden de meeste fouten gemaakt bij zwarte Amerikaanse vrouwen. Aangezien zo’n opzoeking typisch is de politie klonk de conclusie van NIST vrij hard: ‘Deze bevolkingsgroep loopt het grootste risico om valselijk beschuldigd te worden van een misdaad’. Dat is reëel gevaarlijk, aangezien ordediensten doorgaans harder optreden bij iemand die verdacht wordt van een misdaad dan bij een onschuldig lijkende burger. Een foute evaluatie door software kan ook de bestaande vooroordelen bij een politieman versterken. Pijnlijk detail bij deze conclusie: de NIST gebruikte voor deze test een FBI-database van 1,6 miljoen mugshots. De overheidsorganisatie merkte daarnaast fijntjes op dat Amerikaanse algoritmes opvallend slechter waren in het beoordelen van niet-witte mensen dan diegene die in Azië werden ontwikkeld. Algoritmes schijnen dus de zogenaamde own race bias te etaleren die studies bij menselijke observators vonden. Overigens zijn er indicaties dat er ook een gender bias bestaat; vrouwen worden vaker mis geïdentificeerd dan mannen.

Slechte scholing

Maar waarom presteren die AI-algoritmes slechter bij zwarte dan bij witte Amerikanen? Het vermoeden is dat het ligt aan de ‘training’ die de AI kreeg. Om gezichten te leren onderscheiden wordt de AI eerst blootgesteld aan datasets met foto’s. Die data is wellicht weinig divers, waardoor een AI minder goed getraind wordt om gelaatskenmerken van niet-witte mensen (of vrouwen) te onderscheiden.

De brief van IBM haakt aan bij de grotere discussie over het gebruik van gezichtsherkenning door de Amerikaanse politie. De Democratische politicus Bernie Sanders riep een jaar geleden zelfs op om de technologie totaal te verbieden voor ordediensten. Zo’n ban is er al in de steden San Francisco en Oakland. Is een totale verbod het antwoord? Misschien, al stellen sommigen dat algoritmes en data op hun neutraliteit gekeurd zouden worden door de overheid om zo de technologie neutraler te maken. En elders ter wereld? In China lijkt de overheid de technologie enthousiast te omarmen. In Europa is er meer discussie, maar ook niet heel intens. Een verbod van vijf jaar op het gebruik van gezichtsherkenning verdween uiteindelijk uit een Commissie-plan om AI-onderzoek te stimuleren. De Europese bewindsmakers lijken het uitdagend te vinden om een balans te vinden tussen discriminatie en privacy aan een kant en de eisen van de ordediensten en de concurrentiepositie van Europa aan de andere.