Open de ‘black box’ van AI met GlassBox: een toolkit voor transparantie in articifial intelligence

AI-modellen kunnen zo complex worden dat we de uitkomsten niet meer begrijpen. Dit ondermijnt het vertrouwen van zowel bedrijven als klanten. Daarom introduceert Deloitte GlassBox: een toolkit waarmee je kunt kijken in de spreekwoordelijke ‘black box’ van op AI gebaseerde algoritmen.

Modellen voor artificial intelligence (AI), met name datagestuurde modellen op basis van bijvoorbeeld machine learning, kunnen buitengewoon complex zijn. Deze algoritmen worden doorgaans gepresenteerd als een ‘black box’: je voedt ze met data en krijgt er output voor terug, maar wat er in de tussentijd gebeurt is moeilijk uit te leggen.

Dit gebrek aan inzicht in AI-technologie brengt grote risico’s voor bedrijven met zich mee, aldus Roald Waaijer, Risk Advisory Director bij Deloitte. “Algoritmen op basis van AI worden steeds meer gebruikt voor beslissingen die ons dagelijks leven beïnvloeden. Als een algoritme de fout ingaat, kunnen de gevolgen dan ook rampzalig zijn. Een bedrijf kan op deze manier ernstige reputatieschade oplopen en daarnaast worden geconfronteerd met boetes van tientallen miljoenen euro.” Maar het ergste is volgens Waaijer nog wel dat het de klant kan benadelen, bijvoorbeeld wanneer deze onbedoeld oneerlijk wordt behandeld  door vooroordelen in de algoritmen of de trainingsdata. “Dit kan leiden tot een ernstige vertrouwensbreuk en het kan jaren duren om dat te herstellen.”

Om bedrijven te helpen de spreekwoordelijke black box van AI te openen,  introduceert Deloitte GlassBox. Deze technische toolkit is ontworpen om AI-modellen te valideren en mogelijke vooroordelen op te sporen. Anders gezegd, om te controleren of op AI gebaseerde algoritmen doen wat ze behoren te doen. “Het is eigenlijk hetzelfde als je auto naar de garage brengen”, legt Waaijer uit. “Iemand moet af en toe onder de motorkap kijken om te controleren of alles nog naar behoren werkt. Dat is precies wat GlassBox doet: we kijken onder de motorkap van een algoritme om de AI-engine te controleren.”

Deloitte biedt  met GlassBox middelen waarmee het besluitvormingsproces van AI-modellen kan worden verklaard voor medewerkers en klanten, bijvoorbeeld door te visualiseren hoe een op AI gebaseerd algoritme tot een bepaald besluit is gekomen. “Sinds de AVG in werking is getreden, hebben consumenten recht op een zinnige uitleg over hoe hun gegevens zijn gebruikt om tot een besluit te komen”, aldus Waaijer: “Het volstaat niet om te zeggen: ‘De computer zegt nee’. Je zult het besluit moeten uitleggen en inzicht moeten geven in wat er gebeurt in de black box.”

Inspectiemethoden

Er bestaan tal van AI-modellen, zoals neurale netwerken, methoden op basis van discriminanten, methoden op basis van een beslissingsboom, etc. De GlassBox-toolkit beschikt over verschillende inspectiemethoden voor elk van die modellen (zie illustratie). Sommige  tools zijn intern ontwikkeld; andere, zoals ELI5 of LIME, werken op basis van open-source software. Bojidar Ignatov, junior -manager Financial Risk Management bij Deloitte met speciale aandacht voor geavanceerde modellen, is betrokken geweest bij de samenstelling van de GlassBox-toolkit. “Er zijn meerdere manieren om de black box te openen en inzicht te krijgen in hoe deze algoritmen werken”, zegt hij.  

Neem bijvoorbeeld random forest-modellen. Met behulp van deze AI-technologie kunnen op willekeurige wijze meerdere beslissingsbomen worden gecreëerd – een zogeheten ‘forest’. Al deze beslissingsbomen hebben een verschillende combinatie van variabelen die met elkaar in wisselwerking staan. De algoritmen proberen de beslissingsboom te vinden die het meest representatief is voor de data. De GlassBox-toolkit biedt meerdere manieren om random forest-modellen te valideren: het is bijvoorbeeld mogelijk om na te gaan welke eigenschappen van de data er zijn meegenomen in de  voorspelling van het model en welke eigenschappen het meest belangrijk waren hiervoor. Het is mogelijk om dieper in te gaan op de verschillende elementen van de beslissingsboom, of om de interactie tussen elementen inzichtelijk te maken.

Een voorbeeld van zo’n diepgravend onderzoek naar de elementen van een random forest-model is het repliceren van een lokaal optimum van het model dat is gebruikt voor een enkel besluit van dat model, en een schatting te maken van het globale optimum. “Door deze waarden met elkaar te vergelijken krijg je een beeld van welke elementen een grote invloed hebben op een besluit en wat in het algemeen de belangrijkste elementen zijn”, legt Ignatov uit.

Om inzicht te krijgen in de interactie van de elementen in een random forest-model, heeft Deloitte de ‘Interaction Matrix’ ontwikkeld. De Interaction Matrix is een hulpmiddel dat laat zien welke elementen relatief vaak naast elkaar worden geplaatst binnen de bomen. “Deze interacties kunnen worden gevisualiseerd op een heatmap. Daardoor kun je gemakkelijk zichtbaar maken welke combinaties van factoren bijdragen aan de uitkomst. Hoe warmer de heatmap, des te vaker worden de twee factoren aan elkaar gekoppeld”, aldus Ignatov. Uiteindelijk kan een menselijke deskundige met kennis van de context beoordelen of deze elementen inderdaad van belang zijn voor het besluit, of dat het model wellicht moet worden bijgesteld.

Hoe vermijd je vooroordelen in data?

Een belangrijke dimensie bij het valideren van AI-modellen is de controle van de  datakwaliteit. Een AI-model kan uitstekend werken, maar als de data gebrekkig of bevooroordeeld zijn, heeft dit invloed op de uitkomst. Zelfs als je ras of geslacht niet expliciet in je model opneemt, betekent dit niet dat deze factoren geen rol spelen in de uitkomst, legt Waaijer uit. “Als de invoergegevens bevooroordeeld zijn, vindt het AI-model een manier om het vooroordeel in de uitkomst te repliceren, zelfs als het vooroordeel niet expliciet is opgenomen in de variabelen van het model.”

De GlassBox-toolkit bevat verschillende hulpmiddelen om vooroordelen in de datasets bloot te leggen. Deel van de datavalidatie is de controle of alle vereiste stappen zijn genomen voordat de data worden ingevoerd in het AI-model, bijv. schaling van de invoerdata, datatransformaties, data-aanvullingen en -verbeteringen. Vervolgens wordt op vooroordelen gecontroleerd op basis van een vooraf bepaalde set van vooroordelen die mogelijk aanwezig zijn in de dataset of die in de nieuwe data zijn geslopen. Uiteindelijk gaat het om het testen van verschillende scenario’s, aldus Waaijer: “Als je bijvoorbeeld wilt testen of een dataset een gendervooroordeel bevat, kun je testen hoe de verdeling tussen mannen en vrouwen uitpakt bij bepaalde combinaties van parameters. Als de uitkomst erg afwijkt van de verwachting, dan is er iets mis.”

Een complicatie is dat het in de meeste gevallen alleen mogelijk is het vooroordeel op te sporen wanneer een model in gebruik is, voegt Waaijer toe. “Je ziet alleen wat er in de praktijk gebeurt. Onderzoek toont bijvoorbeeld aan dat een combinatie van ogenschijnlijk onschuldige factoren zoals lengte en postcode mensen met een bepaalde achtergrond kan benadelen. Dit is niet iets dat je kunt verwachten, het is enkel iets dat je ontdekt wanneer je het model gebruikt.” Dit betekent dat ethische overwegingen moeten worden ingebouwd in AI-modellen, niet alleen in het begin, maar voortdurend, zegt Waaijer. “Er moet een controlecyclus zijn waarin de resultaten continu, of in ieder geval periodiek, worden bijgehouden.”

Menselijk oordeel

De GlassBox-toolkit biedt diverse middelen om inzicht te krijgen in geavanceerde of op AI gebaseerde algoritmen. Om de resultaten te interpreteren is echter een menselijk oordeel nodig. “Alleen mensen kunnen de context bepalen waarin een algoritme werkt en kunnen de implicaties van de uitkomst begrijpen”, aldus Waaijer. “Het blootleggen van het algoritme is stap één; stap twee is verifiëren of het algoritme werkt volgens de waarden van de onderneming. Daarvoor heb je een menselijk oordeel nodig.”

De GlassBox-toolkit geeft organisaties de mogelijkheid de controle te behouden over de diverse AI-modellen die ze in gebruik hebben. Zo kunnen ze ervoor zorgen dat de uitkomsten van op AI gebaseerde algoritmen verklaarbaar en steekhoudend zijn. “Het openen van de black box van AI wordt een bedrijfsprioriteit”, stelt Waaijer. “Wanneer je ervoor zorgt dat je de op AI gebaseerde algoritmen op een correcte en verantwoordelijke manier gebruikt, vermijd je niet alleen risico’s, maar kun je ook het volledige potentieel van AI verwezenlijken.”