Het ‘bias’-monster: AI en het probleem van vooroordelen

Kunstmatige intelligentie gaat op veel vlakken zorgen voor een revolutie, maar toont ons ook een lelijke blik in de spiegel. De data die je in een model stopt bepalen wat eruit komt. En wat eruit komt is soms stuitend racistisch of bevooroordeeld. Een groot probleem dat niet zo maar is opgelost.

Er zijn inmiddels flinke zorgen over bias (vooroordelen) in artificial intelligence (AI). Het is een ernstig probleem dat vaker dan ons lief is de kop opsteekt: HR-software die bij de werving van programmeurs vrouwelijke kandidaten negeert en politiesystemen die racistische neigingen hebben. Ondanks dat de AI-sector zich hiervan bewust is bestaat er helaas geen toverstaf waarmee dit bias-monster morgen verleden tijd is. Wel hebben we praktische ideeën om het te bedwingen en uiteindelijk uit te komen bij volledig ‘responsible’ AI.

Aard van het beestje

Om met een ongemakkelijke waarheid te beginnen: in AI-modellen zal er altijd sprake zijn van vooroordelen. De data waarmee je AI-systemen voedt is nu eenmaal een afspiegeling van de realiteit, en vooroordelen zitten in de menselijke aard en onze wereld ingebakken. Machine learning (ML) neemt bias over. Mensen zijn imperfecte wezens die niet altijd hun gezond verstand gebruiken om de wereld om hen heen te begrijpen, en beslissingen die we nemen zijn gekleurd door vooroordelen.

Maar als bias de aard van het beestje is, is het dan een te diepgeworteld probleem om er iets aan te doen? Absoluut niet. Je kunt maatregelen treffen om specifiek de vraagstukken rond vooroordelen aan te pakken. Die taak wordt nu min of meer aan de ML-professionals en datawetenschappers overgelaten. Uiteindelijk zal er vermoedelijk regelgeving voor komen. Maar welke route we ook gaan afleggen, de eerste stap is waarborgen dat we bias onderzoeken en erkennen dat het in allerlei soorten en maten bestaat.

Bias blootleggen

We moeten dus zorgen dat we bias blootleggen en er een kader omheen bouwen, zodat mensen kunnen vertrouwen op de AI-systemen en de resultaten die ze produceren. Machien learning heeft als doel om systemen te creëren die op basis van patronen leren. Dit betekent dat we, nog voor we aan de slag gaan met het bouwen van zulke modellen, aan de slag moeten met het ondervangen van vooroordelen om te voorkomen dat die zich systematisch in het hele ML-proces kunnen nestelen. Momenteel ligt de focus bij de ontwikkeling van de meeste modellen bijvoorbeeld op nauwkeurigheid. Datawetenschappers doen hun best doen om elk extra procentpuntje nauwkeurigheid uit de data te persen. Maar door die focus vergeten ze om het model te testen op vooroordelen.

De uitdaging voor datawetenschappers is dus om te zorgen voor schone en nauwkeurige data die vrij is van vooroordelen, zodat ook de resultaten vertrouwd kunnen worden. Soms zijn ML-algoritmes zelf vrij snel in staat om vooroordelen te identificeren, maar we moeten altijd alert blijven bij het selecteren van data of het bepalen welk type data we gaan verzamelen. Zo is te voorkomen dat er nog meer bias in de systemen wordt geïntroduceerd.

Bias sluipt ook vaak binnen tijdens het ontwikkelproces van ML-modellen. Het is daarom van belang om de ontwikkelstappen zoals het verzamelen en selecteren van data, nauwkeurig te documenteren. Zo kunnen de data die worden gebruikt voor de ML-modellen grondig worden gecontroleerd op bias. In de praktijk houdt dat in dat iedereen die zich bezighoudt met de ontwikkeling van AI-toepassingen, of het nu gaat om leveranciers, zakelijke professionals, open source developers, overheidsorganisaties of burgers, passende maatregelen moet treffen om te waarborgen dat er geen vooroordelen in het besluitvormingsproces van deze ML-platforms doorsijpelt.

De noodzaak van diversiteit

Vervolgens moeten we waarborgen dat het herkennen van bias vanuit alle mogelijke invalshoeken wordt bekeken. Je moet natuurlijk wel weten waarnaar je precies moet zoeken. Een zo divers mogelijke pool van datawetenschappers is dus belangrijk. Want als er meer stemmen te horen zijn, wordt het makkelijker om na te gaan waar er binnen het besluitvormingsproces sprake is van vooroordelen. Met inmiddels meer dan de helft vrouwelijke studenten bij de studies AI of data science, zit er hier in elk geval op het gebied van genderdiversiteit beweging in.

We moeten ook oog hebben voor de diversiteit van de data die we selecteren. Eerlijk gezegd denk ik dat een groot aantal organisaties direct van start gaat met de ontwikkeling van een zo nauwkeurig mogelijk model: “We hebben data in huis, dus laten we een model bouwen en beetje bij beetje de nauwkeurigheid vergroten”. Dat gebeurt dan zonder stil te staan bij de vraag wat ze precies proberen op te lossen.

Welke zakelijke beslissingen moeten ze bijvoorbeeld op basis van het ML-model nemen en met welke data gaan ze het ML-model dus voeden? En kijk eens goed naar de data. Is het een subset van data en is er een mogelijkheid om de selectie te verbreden? Zijn er misschien problemen met de data? Ik denk niet dat hier momenteel voldoende aandacht aan wordt besteed en dat moet echt anders. Idealiter zorg je voor een zo realistisch mogelijke afspiegeling van de realiteit op basis van representatieve kenmerken.

Disparate impact analysis

In hoeverre kunnen we de bovenstaande maatregelen om bias uit te lichten – maatregelen die dus ook de bouwstenen zijn voor ‘responsible’ AI – automatiseren? Ik denk dat dit momenteel nog niet volledig mogelijk is. Maar wat je wel kunt automatiseren, is het controleren van de kwaliteit van data voor diverse dimensies. Zo kun je controleren of er sprake is van een representatieve steekproef van mannen en vrouwen, of van alle kenmerken die je wilt beschermen.

Een obstakel in dit verband is de afwezigheid van een centrale standaard die aangeeft hoe data eruitzien die van alle bias zijn ontdaan. Maar dat is geen reden om niet naar een dergelijke standaard te streven. We beschikken nu bovendien over tools die ons in staat stellen om te meten hoe billijk een model is. Zo kun je met een techniek genaamd disparate impact analysis (ongelijksoortige impactanalyse) nagaan of er sprake is van vooroordelen ten aanzien van bepaalde groepen. Hierbij wordt een select aantal beschermde eigenschappen geraadpleegd en wordt gecontroleerd of de dataset gelijkwaardige resultaten produceert. Als je bijvoorbeeld naar geslacht kijkt, is de vraag of het model even nauwkeurige resultaten oplevert voor vrouwen als voor mannen.

Wees je er ook echt van bewust dat modellen, net als verse vis, razendsnel kunnen bederven. Als je deze ML-modellen niet voortdurend monitort, evalueert en herziet sluipt er bias in je besluitvormingskaders. Een uitstekende maatregel om dit te voorkomen is dan ook om een governance-proces voor de ontwikkeling van ML-modellen in het leven te roepen.

Bewust van racisme en gendervooroordelen

Samenvattend denk ik dat AI een oplossing zou moeten bieden voor dit kernvraagstuk rond vooroordelen.

Ontwikkelaars van AI-oplossingen zijn zich terdege bewust van het probleem. Steeds meer organisaties staan open voor het gebruik van machine learning om bedrijfsprocessen te versnellen. Maar ze weten ook dat ML-modellen nou niet bepaald een goede reputatie hebben als het gaat om transparantie. Elk bedrijf waarmee ik spreek is doordrongen van de noodzaak om zijn beslissingen op basis van ML niet te laten kleuren door racisme of gendervooroordelen. Ze proberen hun besluitvormingsproces met de dag grondiger te inspecteren op bias.

Want zakelijk gezien is op dit vlak reputatieschade een van de grootste nachtmerries. Als je er in de markt bekend om staat dat je je besluitvorming automatiseert, maar als gevolg daarvan producten of diensten onthoudt aan mensen met een bepaalde achtergrond, zal dat als een boemerang terugkomen en de publieke opinie tegen je in het harnas jagen. Het bias-monster heeft behoorlijk scherpe tanden waar je zo ver mogelijk bij uit de buurt moet blijven. Laten we het beest daarom in de kooi stoppen waar het thuishoort.

Over de auteur: Mark Bakker is AI strategy Adviser EMEA bij H2O.ai.

Op de hoogte blijven van het laatste nieuws binnen je vakgebied? Volg Emerce dan ook op social: LinkedIn, Twitter en Facebook.