Onderzoek: Nederlandse bedrijven onvoldoende voorbereid op de Europese AI-wet

Met de historische goedkeuring van de EU-AI Act (AIA) door het Europees Parlement, staan we aan de vooravond van een nieuw tijdperk in de regulering van kunstmatige intelligentie binnen de Europese Unie.

In een tijdperk waarin AI-systemen diep geïntegreerd zijn in onze dagelijkse activiteiten, van e-commerce tot sociale media, markeert de AIA een cruciale stap naar verantwoord gebruik van AI. Maar hoe klaar is het Nederlandse bedrijfsleven voor deze nieuwe wetgeving?

In dit artikel beschrijven we de resultaten van een uitgebreid onderzoek van de Hogeschool van Amsterdam (HvA) waarin de houding van Nederlandse organisaties ten opzichte van de EU-AI Act, hun uitdagingen, en aanpak onderzocht worden. Het artikel sluit af met concrete aanbevelingen voor organisaties om te kunnen voldoen aan deze nieuwe wetgeving.

De EU-AI Act

De consequentie van de door het Europees Parlement aangenomen wetgeving is dat organisaties binnen uiterlijk drie jaar moeten voldoen aan de vereisten van de AIA. Deze termijn kan variëren, afhankelijk van het soort AI-systemen dat gebruikt wordt (bijvoorbeeld slechts zes maanden). Daarom is het cruciaal dat organisaties zo snel mogelijk beginnen met de voorbereidingen om aan de AIA te voldoen.

De AIA stelt duidelijk welke AI-toepassingen verboden zijn en identificeert AI-systemen die als hoog risico worden beschouwd. Deze praktijken en systemen dienen aan strikte criteria te voldoen voordat ze op de markt gebracht mogen worden. Zo moeten aanbevelingssystemen die individuen profileren grondig geanalyseerd worden alvorens ze kunnen worden ingezet.

Dergelijke systemen worden tegenwoordig in veel sectoren gebruikt, waaronder e-commerce, sociale media, en streamingdiensten voor muziek en video. AI-systemen voor het selecteren van kandidaten bij wervingsprocessen zijn ook een voorbeeld van hoog risico systemen.

Naast AI-systemen die specifiek ontworpen zijn voor voorspellingsdoeleinden, is er recent een significante groei te zien in de ontwikkeling van algemene AI-modellen, waaronder de Large Language Models van OpenAI. Wanneer organisaties besluiten om op basis van deze modellen een eigen AI-systeem te ontwikkelen, kan dit ook leiden tot de classificatie van het systeem als hoog risico.

Het onderzoek

In aanloop naar de verwachte goedkeuring van de AIA door het Europees Parlement, heeft de HvA onderzoek verricht naar de naleving ervan door organisaties en de voornaamste oorzaken van eventuele non-compliance. Dit onderzoek concentreerde zich specifiek op organisaties die gebruikmaken van voorspellende AI-technologieën. Deze technologieën staan bekend om hun potentieel om bedrijfsmodellen radicaal te transformeren en aanzienlijke innovatie in producten en diensten te stimuleren. Dit in tegenstelling tot generatieve AI, die zich voornamelijk richt op het verhogen van de efficiëntie en innovatie binnen bestaande werkprocessen door het automatiseren van de creatie van content (onder andere tekst, beeld, video, audio en code).

Het onderzoek verliep in twee fasen. Tijdens de eerste fase werden gestructureerde diepte-interviews afgenomen bij vierendertig Nederlandse organisaties. De tweede fase bestond uit casestudies bij twee van deze organisaties. Het onderzoek had als doel de naleving van de AIA te beoordelen, de hoofdredenen voor compliance of het gebrek daaraan te identificeren, en aanbevelingen te doen voor acties die organisaties kunnen ondernemen om aan de AIA te voldoen.

Onder de geïnterviewde organisaties bevinden zich gevestigde marktleiders in zorgverzekeringen, consumentengoederen, toegangscontrole, HR-diensten en online retail. Er zaten ook MKB-ondernemingen bij, met een grootte variërend van vijftig tot vijfhonderd werknemers. Een derde van deze organisaties outsourcen de ontwikkeling van hun AI-systemen systematisch, vaak naar offshorelocaties in Azië. De ondervraagde organisaties varieerden ook in het niveau van hun kennis van de AIA. Figuur 1 geeft de kenmerken van de ondervraagde organisaties weer.

Figuur 1: Kenmerken van de onderzochte organisaties.

De kloof tussen verwachting en realiteit

Veel organisaties hebben nog een beperkt inzicht in de vereisten om volledig aan de AIA te voldoen. Met een gemiddelde compliance-score van slechts 56 procent liggen de geïnterviewde bedrijven aanzienlijk ver van de honderd procent naleving waarmee volledig aan de AIA voldaan wordt (zie figuur 2).

Dit benadrukt dat zij nog aanzienlijke stappen moeten zetten om totale overeenstemming met de AIA te bereiken. Verder blijkt dat ongeveer zestig procent van de ondervraagde organisaties de mate waarin ze voldoen aan deze nieuwe Europese wetgeving overschatten (zie figuur 2). MKB-ondernemingen scoren over het algemeen lager in hun naleving van de AIA dan grotere organisaties. De gestructureerde diepte-interviews waren specifiek ontworpen om het verschil tussen de werkelijke naleving en de door de organisaties veronderstelde naleving nauwkeurig te meten.

Figuur 2: Perceptie versus feitelijke AIA-‘compliance’ van organisaties.

Uit het onderzoek blijkt verder dat veel organisaties op creatieve manieren proberen te voldoen aan de vereisten van de AIA. Een veelvoorkomende praktijk is het genereren van technische documentatie aan het eind van het modelontwikkelingsproces, in plaats van dit doorlopend te doen. Dit suggereert dat hoewel organisaties het belang van technische documentatie inzien, ze minder waarde hechten aan de kwaliteit ervan door het niet regelmatig te actualiseren of te verbeteren.

Daarnaast lijken de maatregelen die genomen worden om aan de AIA te voldoen vaak beperkt in omvang. Zelfs in gevallen waarin organisaties verifiëren dat hun modellen en data vrij van vooringenomenheid zijn, ontbreekt het veelal aan continue monitoring van het model. Dit is cruciaal om te waarborgen dat hun AI-systemen over tijd niet evolueren naar onaanvaardbare niveaus van bias. Vooral bij aanbevelingssystemen kan een onaanvaardbare bias snel ontstaan, aangezien deze systemen ontworpen zijn om in real-time zelfstandig te leren.

Besluitvorming en uitvoering

De interviewvragen richtten zich niet uitsluitend op operationele aspecten, zoals de specifieke compliance-acties die organisaties ondernemen, maar beoogden ook inzicht te krijgen in de invloed van strategische factoren en besluitvorming op de naleving van de AIA. De gevolgen van strategische keuzes, zoals het uitbesteden (outsourcing) en verplaatsen van activiteiten naar het buitenland (offshoring), op de compliance met de AIA wordt vaak onderschat.

Ter illustratie: een van de geïnterviewde organisaties, heeft een kantoor in Azië geopend om daar al haar activiteiten rondom modelontwikkeling uit te voeren. Verschillen in ethische normen en de interpretatie van juridische kaders internationaal kunnen ertoe leiden dat de in Azië ontwikkelde modellen niet voldoen aan de Europese normen. Dit probleem wordt verergerd doordat sommige van deze modellen zeer black-box-achtig van aard zijn, wat het achteraf verklaren van hun werking bemoeilijkt. Bij het nemen van dergelijke strategische beslissingen laten organisaties zich vaak leiden door het streven naar waardecreatie, kostenbesparing en het benutten van het arbeidspotentieel, waardoor ze het belang van regelgeving in hun strategische overwegingen kunnen onderschatten.

Uiteindelijk is het van belang dat organisaties die AI systemen implementeren, een besturingsmodel ontwikkelen dat naleving van de AIA vergemakkelijkt. Hoewel het van cruciaal belang is AI strategisch in de organisatie te integreren, blijft de belangrijkste uitdaging voor organisaties hoe ze kunnen garanderen dat hun algoritmen voldoen aan de eisen van de AIA. Afhankelijk van de complexiteit van het algoritme kan dit een grote uitdaging vormen, en soms zelfs onhaalbaar lijken op basis van de huidige kennis. Zoals recentelijk opgemerkt door een Europarlementariër betrokken bij de AIA: “We need big brains like Oppenheimer to make its rules work”-

Over de auteurs: dr. Diptish Dey is onderzoeker en investeerder in kunstmatige intelligentie en data science en dr. Jesse Weltevreden is professor Digital Commerce. Beiden zijn verbonden aan het Centre of Expertise Applied AI en het Centre for Market Insights van de Hogeschool van Amsterdam.