[Column] De AI-paradox: AI is slim, totdat je een specialist vraagt

Waarom zelfverzekerde hallucinatiemachines vooral indruk maken op mensen die het antwoord nog niet kennen.

De Amerikaanse astrofysicus, auteur en wetenschappelijk filosoof Adam Becker deelde onlangs een tweet op Bluesky die me opviel (ja, die noem ik ook tweets): “You can’t use an LLM in any context where being wrong is a problem”. Oftewel, je kunt LLM-technologieën niet gebruiken in contexten waarin een incorrect antwoord een probleem is. Niet in alle contexten is het een probleem, natuurlijk, maar hit is een goede regel om in je achterhoofd te houden. Incorrect zijn is namelijk een feature van generatieve AI, geen bug.

Het feit is dat er een directe correlatie is tussen hoeveel je over een onderwerp weet en hoe je de kwaliteit van een AI-antwoord beoordeelt. Hoe minder je weet, hoe beter het antwoord lijkt. Hoe meer je weet, hoe slechter het antwoord lijkt te zijn. Net als bij horoscopen.

Je hoeft het steeds minder uit te leggen, maar toch: iedereen praat over AI, maar ze bedoelen eigenlijk Large Language Models (LLM). Deze systemen zijn getraind op hele grote hoeveelheden data via zogenoemde “tokens” om de volgende reeks aan tekst of beeld te voorspellen. Dit werkt verrassend goed. Dat kan niemand ontgaan zijn.

Wat het zo magisch maakt, maakt het ook meteen verraderlijk; het verzint soms dingen die niet waar zijn, hallucinaties. Soms is dat gunstig als ik bijvoorbeeld tien nieuwe titels wil genereren op basis van dit artikel. Maar soms verzint zo’n systeem onwaarheden en presenteert ze als feiten. Dit is op z’n minst irritant, maar hoe afhankelijker we onszelf maken van deze systemen, hoe fataler het kan zijn.

Velen denken nog steeds dat dit een bug is die met nieuwe iteraties van deze technologie kan worden opgelost. Maar zelfs het nieuwste model van Anthropic hallucineert. Dit is geen bug; hallucinaties zijn een feature van LLM’s. Waar ze wel steeds beter in worden, is dat ze ons zelfverzekerd overtuigen van hun expertise.

AI is een fantastische strateeg, totdat je het een strateeg vraagt en die zegt “mwah”. AI is dé marketeer, totdat je iemand vraagt die al jaren marketing doet en hier niet van onder de indruk blijkt te zijn. AI is perfect om een contract mee te maken, totdat je een advocaat erbij roept en die zucht: “Nou ja, een prima start”.

Deze eigenschap om te kunnen overtuigen ligt aan de basis van LLM’s, met name door hoe ze getraind zijn (reinforced learning). AI-modellen leren namelijk het meest succesvolle pad te registreren dat leidt tot generalisering van zelfs obscure inzichten en feiten en veroorzaakt het Forer-effect (ook wel het Barnum-effect genoemd) tot gevolg. Dit fenomeen zorgt ervoor dat generalisaties zo worden overgebracht dat ze heel algemeen kunnen worden toegepast en wij als mens denken dat ze voor ons specifiek gelden – wederom het horoscoopvoorbeeld.

In gesprekken stel ik vaak de volgende oefening voor: prompt een AI over een bepaald onderwerp waar je expert op bent en stel het daar vragen over. Je bent snel onder de indruk van de basiskennis, maar je ziet meteen waar het antwoord afwijkt, generaliseert en/of compleet hallucineert. Dit gebeurt evengoed binnen domeinen waar je níet de expertise hebt om het antwoord te verifiëren of te corrigeren.

Daarin zijn LLM’s eigenlijk de perfecte weerspiegeling van jezelf. Het niveau van expertise dat je inbrengt is ook wat je terugkrijgt, maar dan iets meer gegeneraliseerd.

Juist die observatie was voor mij een belangrijke aanleiding om Salut te bouwen. Niet omdat hallucinaties verdwijnen, maar omdat ik ervan overtuigd ben geraakt dat één AI-model simpelweg niet altijd voldoende is. Door meerdere modellen met elkaar te laten samenwerken, wordt het veel moeilijker voor een hallucinatie om ongemerkt als waarheid door het systeem heen te glippen.

Door juist deze eigenschap te omarmen, ontdekken mensen de kracht van LLM-technologie in hun dagelijks leven. Het is de perfecte compagnon en collega van je eigen expertise en gedachtegang, zolang je maar niet in de valkuil loopt dat het zelf met die informatie is gekomen. Het komt namelijk altijd door je eigen inbreng.

Over de auteur: Arthur Stobbelaar is founder van AI-app Salut en co-founder Alpha Tango.