Kun je een algoritme wel racistisch noemen?

Twitter lijkt witte mensen op foto’s eerder uit te lichten dan zwarte mensen, bleek deze week uit tests van gebruikers. Dat meldde Nu.nl onlangs. Het gaat om een experiment van Tony Arcieri, die ontdekte dat Twitter inzoomt op grote afbeeldingen en daarbij witte gezichten de voorkeur geeft, zoals hier naast kort te zien is.

Dat sloot mooi aan op andere bevindingen, zoals dat Zoom bij het vervangen van de schermachtergrond gekleurde gezichten niet herkent, of in het verleden dat een gekleurde vinger door sensoren niet herkend wordt zodat je een droogblazer niet kunt activeren. En dan lees ik dus dat “algoritmes niet racistisch zijn”, wat ik een beetje gezocht-juridisch vind.

Het argument is dan natuurlijk dat een algoritme gewoon doet wat het gezegd is, en daarbij niet nadenkt en al helemaal geen intenties heeft. Net zo min als een deur kan discrimineren, kan een algoritme dat, even gechargeerd. Een deur kan open en dicht, en het zijn mensen die bepalen wanneer dat gebeurt. Die kunnen daarbij discriminerende criteria hanteren, die de deur dan uitvoert, maar dat maakt de deur niet zélf een racist.

Noodzaak

Ehm, ja. Ik snap de noodzaak voor die discussie niet zo, want volgens mij is het wel algemeen duidelijk dat algoritmes niet kunnen denken. Maar “mensen die het Twitter-gezichtsherkenningsalgoritme hebben gebouwd, hebben daarbij racistische keuzes gemaakt” is gewoon onhandig veel langer, waarom zou je dat in vredesnaam op willen schrijven?

Een iets diepere zorg is dat er kennelijk een groep mensen is die denkt dat een algoritme per definitie niet discriminerend kan zijn. In die visie drijft een algoritme op feiten, namelijk wat het uit de data geconcludeerd heeft. En omdat data objectief is, en het algoritme niets meer doet dan objectief feiten analyseren en daaruit conclusies trekken, is de uitkomst van zo’n algoritme dus onmogelijk discriminerend te noemen. Twee plus twee is gewoon vier, ook voor waarden van twee die gelijk zijn aan een 80.000 x 80.000 matrix met informatie uit afbeeldingen.

Onzin

Dat laatste is wat mij betreft écht onzin. Dat een computer iets doet, maakt het nog niet objectief. Zeker niet wanneer het algoritme drijft op een dataset waarvan allerminst is vastgesteld dat deze representatief is voor het gehele probleemgebied. Als je dataset alleen witte mannen bevat, en je laat de gehele bevolking werken met het daaruit verkregen algoritme, dan is die uitkomst niet objectief. Ik wil best geloven dat er geen intentie was om andersoortige mensen buiten te sluiten, achter te stellen of op andere wijze negatief te benaderen. Maar de uitkomst komt daar desondanks wel op neer. En juridisch gezien noemen we dat nog steeds discriminatie; intentie is niet van belang, alleen de uitkomst in de praktijk.

Uit het Nu.nl artikel:

Media spraken van “racistische algoritmes”, maar met dat label moeten we oppassen, zegt neuro-informaticus Sennay Ghebreab van de Universiteit van Amsterdam. “Effecten kunnen discriminerend zijn. Het probleem met refereren aan algoritmes die racistisch zijn, is dat je het probleem van de maatschappij naar het algoritme verschuift.”

Drogreden

Dit voelt voor mij als een totale drogreden. Er is niets mis met het algoritme, de maatschappij is fout dus wilt u even de maatschappij corrigeren zodat ik het algoritme met rust kan laten. Dat kan niet de bedoeling zijn, lijkt me zo. Helemaal omdat in de praktijk het zelden gaat om een diepgaand moeilijk te zien probleem dat pas door zo’n AI algoritme blootgelegd wordt: de datasets die men gebruikt, bevatten gewoon te weinig diversiteit in hun afbeeldingen. Dat is een zeer bekend probleem, en iets dat je dus gewoon moet fixen voordat je algoritmes gaat trainen op zulke datasets.

Ik blijf er bij: het gaat niet om de algoritmes, het gaat om de dataset.

Over de auteur: Arnoud Engelfriet is partner bij ICT Recht.