3 redenen waarom je niet blind moet vertrouwen op AI-voorspellingen

Als een soort waarzeggers voorspellen data scientists de toekomst, door te kijken wat er in het verleden is gebeurd. Zomaar blind vertrouwen op deze voorspellingen is echter niet aan te raden. Ook artificial intelligence (AI) kent namelijk zijn beperkingen en juist als je die kent, haal je er de meeste waarde uit. 

Foutmarge 

Iedere AI-voorspelling heeft altijd een foutmarge, hoe klein die ook is. Al is de historische data nog zo rijk, en het model dat er op los wordt gelaten nog zo geavanceerd: een kans van honderd procent bestaat alleen in theorie. Deze foutmarge is bij voorspellingen die met kapitaal te maken hebben vaak acceptabel. Een broodfabriek die wil voorspellen wat de vraag gaat zijn om zo verspilling te verkleinen? Een model voor beleggers dat koersbewegingen op de aandelenmarkt voorspelt? Een predictive maintenance toepassing die het moment dat een machineonderdeel vervangen moet worden voorspelt? Als het voorspellingsmodel met 98 procent accuratesse zijn werk kan doen, heeft het natuurlijk grote toegevoegde businesswaarde – die twee procent is dan te verwaarlozen.

Maar bewustzijn van deze foutmarge, hoe klein ook, wordt veel belangrijker als de voorspelling invloed heeft op mensenlevens. Zou je de straat op durven als er autonome voertuigen rondrijden die in 98 procent van de gevallen correct anticiperen? Als belastingontduiking met 98 procent zekerheid kan worden voorspeld, moet iedere persoon die uit het systeem rolt dan alvast preventief worden opgepakt? Uiteraard moet je een door data onderbouwd advies serieus nemen en mee laten wegen in je uiteindelijke beslissing. Wees je echter bewust van de foutmarge en vertrouw niet blind op een voorspelling: doe aanvullend onderzoek en probeer de resultaten te interpreteren.

Bias

Voorspellingsmodellen zijn zo goed als de data die gebruikt wordt om ze te trainen. Stel dat je een AI-model leert om katten van honden te onderscheiden en je laat vervolgens een afbeelding van een vos zien, dan kan het model daar niets mee. In veel gevallen is deze ‘bias’ echter niet zo duidelijk als in dit voorbeeld, het kan lastig te ontdekken zijn. Zelfs een op het oog perfecte dataset kan tot verwarrende resultaten leiden, bijvoorbeeld omdat een bepaalde ‘categorie’ te weinig terugkomt. Een bias in een dataset kan ook ontstaan als gevolg van een bias in de kennis of overtuigingen van de persoon die de dataset heeft gecreëerd. Omdat de aanwezigheid van een bias niet altijd even duidelijk is, is het besef ervan des te belangrijker.

Neem een webshop die wil voorspellen welk type schoenen een bepaalde klant leuk vindt om zo betere aanbevelingen te doen. Voor de training van het machine learning-algoritme wordt gebruikt gemaakt van aankoophistorie van de klant en van andere klanten. Omdat een groot deel van de eerdere aankopen door vrouwen is gedaan, representeren de trainingsdata vooral de vrouwelijke en minder de mannelijke voorkeur. Zo ontstaat er een bias in de data en daarmee ook in het algoritme dat met deze data is getraind. Uiteindelijk resulteert dit in een situatie waarin de aanbevelingen van het algoritme voor vrouwelijke klanten veel beter zijn dan voor mannelijke klanten.

Een aantal relatief onschuldige voorbeelden uit de praktijk van voorspellers met zo’n zogenaamde bias, zijn de antisemitische chatbot Tay of de LinkedIn search-engine die een mannelijke voorkeur heeft ontwikkeld. Maar ook in dit geval wordt het pijnlijker op het moment dat scheve voorspellers effect hebben op mensenlevens. In Amerika gebruikt de politie bijvoorbeeld algoritmes om te ‘voorspellen’ waar hotspots van criminaliteit te vinden zijn. Getraind met historische misdaadgegevens zorgt deze toepassingen voor oververtegenwoordiging van politie in arme wijken, met een overwegend zwarte populatie. Dit leidt weer tot de arrestatie van meer zwarte mensen, en deze data vloeit vervolgens terug in het algoritme, met een vicieuze cirkel als resultaat. Predictive policing, zoals deze toepassing heet, wordt overigens ook in Nederland gebruikt.  

Black Box

Naast deze twee theoretische argumenten is er ook een praktisch argument om niet blind te vertrouwen in de voorspelling van een algoritme. Het is namelijk meer dan eens onduidelijk hoe deze tot hun conclusies komen. Op dit moment worden al algoritmes op data losgelaten om te voorspellen of iemand kredietwaardig is of in aanmerking komt voor een baan. Met toegang tot de onderliggende wiskundige modellen die deze voorspellingen doen, zou je kunnen achterhalen wat de systemen daarvoor als indicatoren gebruiken. Maar steeds vaker worden zulke complexe (deep learning) modellen gebruikt, dat de redenering van zo’n model niet meer te achterhalen – laat staan te controleren is. Zélfs niet door de mensen die ze hebben gebouwd. Dat onbekend is waarom een algoritme je een bepaalde advertentie voorschotelt op het web of hoe het bepaald dat je een bepaalde artiest tof vindt is misschien overkomelijk. Maar zonder te weten hoe het werkt schieten we er qua kennisniveau weinig mee op. Jij moest bij wiskundeproefwerken toch ook altijd de berekening laten zien om aan te tonen dat je het snapte?

Laten we een voorbeeld nemen uit de medische wereld. In 2015 werd een deep learning-algoritme losgelaten op een patiëntendatabase van zo’n 700.000 mensen, om daar patronen in te ontdekken. Vervolgens werd gekeken wat het algoritme had geleerd door het  de data van huidige patiënten te laten analyseren. Het algoritme bleek onder meer in staat om zeer accuraat te voorspellen wanneer psychiatrische patiënten een schizofrenie-aanval zouden krijgen. Een enorme doorbraak voor deze patiënten, want dankzij de voorspeller kan het toedienen van medicatie nu plaatsvinden voor de aanval begint, in plaats van wanneer het eigenlijk al te laat is. Missie geslaagd zou je zeggen. Maar hoe het algoritme tot zijn conclusie komt blijft een raadsel, en daarmee ook wat de daadwerkelijke oorzaak van die aanvallen zijn. Daarmee blijft onze kennis van de ziekte op het zelfde niveau, en zijn we geen stap dichter bij het voorkomen ervan.

Honderd procent betrouwbare voorspellingen bestaan niet

Het doen van een honderd procent betrouwbare en valide voorspelling is helaas een utopie. Er is altijd sprake van een foutmarge, en modellen zijn zo neutraal als de gegevens waar ze op zijn gebaseerd. Daarom gebruiken we steeds geavanceerdere modellen, om op zoek te gaan naar nog sterkere relaties en verbanden. De keerzijde daarvan, is dat we de redenering van deze modellen soms niet meer kunnen volgen, waardoor ze niet op die betrouwbaarheid en validiteit zijn te controleren. Juist om de meeste waarde uit AI te halen, is het belangrijk om de beperkingen ervan te kennen. Denk dus goed na, blijf kritisch, en besef je dat een voorspelling soms alleen als onderbouwd argument moeten worden beschouwd.