-

Het einde van het algoritme als black box

De tijd dat algoritmes als black box worden geaccepteerd, lijkt definitief voorbij. Vanuit overheid en maatschappij wordt de roep om transparantie immers steeds luider.

Algoritmische besluitvorming kan namelijk ongelijkheid in de hand werken. De rechtszaak die Uber-chauffeurs recent tegen het technologiebedrijf aanspanden, illustreert dit. Bedrijven lijken er niet langer aan te ontkomen dat ze inzichtelijk maken hoe ze algoritmes gebruiken bij het nemen van beslissingen.

Uber

Taxichauffeurs eisen transparantie over de werking van de Uber-app. De onderliggende algoritmes bepalen namelijk een hoop: zij verdelen de ritten en bepalen de ritprijs. Op de achtergrond combineert de app allerlei data tot een profiel van de chauffeur. Wat er precies over de chauffeur wordt bijgehouden en hoe die gegevens worden gebruikt in de algoritmische besluitvorming, is onduidelijk. Om die asymmetrie weg te nemen, beroepen chauffeurs zich bij de rechtbank in Amsterdam op de Algemene Verordening Gegevensbescherming (AVG). “Wat de uitspraak ook wordt,” schrijft het Financieele Dagblad, “bedrijven die met algoritmes en kunstmatige intelligentie werken, zullen zich door deze zaak beter gaan voorbereiden op nieuwe eisen over transparantie.”

Vragen

Kan de algoritmische besluitvorming achter de Uber-app worden gezien als verkapt werkgeverschap? Dat is één van de vragen die de chauffeurs hebben. Als de app inderdaad werkgever is en niet puur een platform, dan zou dat Uber-chauffeurs een andere positie verschaffen met betrekking tot hun beoordeling en salaris. Voor het afdwingen van een meer evenwichtige verhouding hebben de chauffeurs op dit moment echter geen eerlijke basis. Zo zijn zij bijvoorbeeld ook bezorgd of klanten wellicht onbewust discrimineren op het moment dat zij hun chauffeur beoordelen. Dit soort input werkt door in de beslissingen die de algoritmes maken. Met hun zaak leggen de chauffeurs hun vinger op de zere plek: een algoritme werkt op basis van data die door mensen is geselecteerd of gegenereerd, en kan daarmee niet zonder meer worden gezien als objectieve derde partij. 

Fouten blijven

Net zoals mensen, maken ook algoritmes fouten. Sterker nog: als je vanaf het begin niet voorzichtig bent, zijn het juist de algoritmes die fouten maken. Stel je het volgende voor: een beeldherkenningsalgoritme dat over het algemeen aardig accuraat is, omschrijft op een goede dag een foto als “een vrouw met een surfboard op het strand”. Het enige probleem is dat de liefdevolle blik van de vrouw helemaal niet op een surfboard gericht is, maar op haar witte paard. Deze fout onderstreept dat het kort door de bocht is om algoritmes – die tegenwoordig een belangrijke basis vormen van kunstmatige intelligentie – een (boven)menselijk soort intelligentie toe te dichten.

Machine learning algoritme

Gaan we uit van een algoritme dat je traint in plaats van handmatig programmeert – ook wel ‘machine learning-algoritme genoemd’ – dan kan het euvel in bovenstaand voorbeeld op grofweg twee niveaus zitten. Het is ten eerste zeer waarschijnlijk dat de trainingsset een grote hoeveelheid foto’s van surfers op het strand bevatte, en in mindere mate die van paarden. Of het kan zijn dat de trainingsset wel foto’s van paarden bevatte, maar in een hele andere context, zoals in het bos. In zulke gevallen is de kans kleiner dat het paard als een paard wordt herkend buiten de voor het algoritme ‘normale’ context (het strand). De andere verklaring is dat de codeurs, die dus handmatig de omschrijvingen van de foto’s in de trainingsset maakten, gewoon hebben zitten slapen. In dat geval moeten zij zelf structureel witte paarden voor surfboards hebben aangezien.

Hoofdrol

Data bepalen de werkelijkheid van het algoritme, en mensen spelen een hoofdrol in het selecteren en labelen van die data. Dit maakt dat elk algoritme per definitie een bepaalde mate van vooringenomenheid vertoont, ook wel ‘bias’ genoemd. De gevolgen gaan helaas soms veel verder dan een paard dat voor een surfboard wordt aangezien. Zo kwam Facebook negatief in het nieuws omdat commentaren van gekleurde Amerikanen in vergelijking met witte gebruikers eerder als ‘haatdragend’ werden gemarkeerd door een algoritme dat automatisch content scant. Amazon selecteerde automatisch cv’s van sollicitanten, maar vloog uit de bocht toen bleek dat het onderliggende algoritme vrouwen benadeelde. Ook de Nederlandse overheid bleef niet buiten schot: zij zette eerder dit jaar het fraudedetectiesysteem SyRi stop, omdat niet duidelijk was op welke basis mensen als potentiële fraudeur werden aangewezen.

Kritische benadering

Het is dus niet gek dat kunstmatige intelligentie als thema steeds kritischer wordt benaderd. Onderzoek van de Europese commissie onder bedrijven, overheden, academici en ontwikkelaars bevestigt dat een ethische benadering van kunstmatige intelligentie top of mind is: 90 procent van de 1200 ondervraagden maakt zich zorgen over de mogelijkheid dat kunstmatige intelligentie de grondrechten van burgers schendt. En 87 procent van hen is bang dat het gebruik van kunstmatige intelligentie tot bias leidt en bepaalde groepen achterstelt. Het merendeel van de ondervraagden is op zoek naar handvatten in de vorm van nieuwe regelgeving. 

Regelgeving

Aan de wet- en regelgeving zal het echter niet liggen. Recent onderzoek in opdracht van het Ministerie van Justitie en Veiligheid laat zien dat het huidige juridische kader grotendeels volstaat om “de geïdentificeerde risico’s van algoritmische besluitvorming te vermijden of te mitigeren”. De AVG schrijft bijvoorbeeld voor dat bedrijven inzicht moeten kunnen geven in de logica achter automatische besluitvorming als deze een mogelijk negatief gevolg heeft op individuen. Verdere  uitwerking in de AVG zelf blijft uit, maar de Uber-rechtszaak kan in dit licht belangrijke jurisprudentie vormen. Datagedreven bedrijven zullen deze zaak dus met aandacht volgen, omdat de uitspraak een inkijkje kan geven in de manier waarop zij in de toekomst hun algoritmes moeten uitleggen. Uit zichzelf staan zij doorgaans niet te trappelen om deze informatie uit de doeken te doen, zeker als hun algoritmes de kern van de bedrijfsvoering raken en een competitief voordeel betekenen.

Trend

Toch lijkt de trend gezet, ongeacht de uitspraak in de Uber-rechtszaak. Steeds meer bedrijven zetten proactief de lijnen uit op het gebied van transparantie en ‘algorithmic bias’, al dan niet onder maatschappelijke druk. Nederlandse verzekeraars zien bijvoorbeeld kansen in big data en kunstmatige intelligentie op het gebied van klantacceptatie en premiebepaling. Om het gebruik van data op een verantwoorde manier te laten plaatsvinden, publiceerde het Verbond van Verzekeraars in juni een ethisch kader. Techgiganten als Google en IBM delen hun kennis rond dit onderwerp al in bredere kring. Zij documenteren uitgebreid op welke manieren zij bias in algoritmes tegengaan en stellen daarbij hulpmiddelen voor softwareontwikkelaars gratis beschikbaar.

Zelfregulering versterkt

Met de mogelijke onrechtvaardigheden die uit algoritmes kunnen voortvloeien en de hiervoor toegenomen maatschappelijke aandacht, zal deze trend van zelfregulering alleen maar worden versterkt. Het is tijd dat bedrijven – groot en klein – extra kritisch kijken naar de manier waarop zij met algoritmes beslissingen nemen en hierover met hun klanten communiceren. Het competitieve voordeel van bedrijven zit in de toekomst mogelijk steeds meer in transparantie over het algoritme, en minder in het algoritme zelf.

Over de auteur: Julia Krauwer is sector banker technology, bedia & telecom bij ABN AMRO.

Op de hoogte blijven van het laatste nieuws binnen je vakgebied? Volg Emerce dan ook op social: LinkedIn, Twitter en Facebook.

Deel dit bericht

Plaats een reactie

Uw e-mailadres wordt niet op de site getoond