De belofte van een intern AI-systeem met eigen data

AI en Large Language Models hebben veel potentie, maar soms wil je dat je data niet in het openbaar beschikbaar zijn. Een eigen intern AI-systeem kan voor (middel)grote bedrijven een werkbare oplossing zijn.

Generatieve AI heeft in het laatste jaar een enorme sprong gemaakt. ChatGPT van OpenAI is het bekendste zogenaamde Large Language Model (LLM). Dit systeem heeft niet alleen kennis van taal maar ook brede algemene kennis. Deze kennis komt voort uit het leren van informatie uit het publieke deel van het internet. Het systeem is getraind met deze kennis: je kunt een vraag stellen aan ChatGPT en die wordt zo goed mogelijk beantwoord in correct geformuleerde zinnen. Het is best bijzonder wat dit soort systemen aan kennis hebben, of lijken te hebben, en dat ze in staat zijn om een min of meer zinnig antwoord te geven.

Achter het model

De technologie achter deze systemen is uiterst complex. Het zou te ver gaan om er in dit artikel diep op in te gaan. Gelukkig zijn er heel goede bronnen online die uitleggen wat het mechanisme is achter deze vorm van kunstmatige intelligentie. Een van de beste uiteenzettingen die ik gezien heb is ontwikkeld door Jelle Zuidema van de Universiteit van Amsterdam die heel duidelijk – en ook voor een leek begrijpelijk – uitlegt hoe dit model werkt. Als je meer wilt leren over de werking van AI, bekijk dan ook de github-pagina.

Zo slim als de data

Het belangrijkste om te realiseren is dat het model zo slim is als de data waarop het getraind is. Na het trainen zijn de data niet meer nodig, alle kennis zit dan in het model en kan er dus ook niet zomaar weer worden uitgehaald. Dan moet een volledig nieuw model getraind worden. Dat is een kwestie waar onlangs de New York Times ook tegen heeft geageerd: een van de grote LLM’s is getraind met de data van de de krant en die data zitten dus in het model. Volgens de krant is dit copyrightschending en daarom hebben zij dan ook een rechtszaak aangespannen. Het is interessant om dit te volgen en te kijken hoe het verder gaat hiermee.

Zijn dit soort systemen dan een moderne vorm van een orakel van Delphi en weten ze alles? Ook hierbij is het weer een kwestie van nuance: het systeem weet veel en kan veel, maar weet zeker niet alles. Dat wil zeggen: algemene vragen kunnen worden beantwoord, specifieke vragen meestal niet. Zo’n specifieke vraag kan gaan over iemand die wel bekend is maar waar het model weinig over geleerd heeft. Mijn collega Thomas van Zijl van BNR is bijvoorbeld als presentator van BNR Zakendoen best bekend, maar ChatGPT kent Thomas niet.

Door middel van het aanleveren van extra informatie, zoals bijvoorbeeld het feit dat hij bij BNR werkt, komt er iets meer uit, maar als je bijvoorbeeld de transcripties van Thomas’ uitzendingen aan het model zou kunnen voeden, dan zou het systeem veel meer weten over hem. Een ander belangrijk aspect is dat generatieve AI niet kopieert en plakt. Alle tekst wordt gegenereerd op basis van het model en de waarschijnlijkheid dat het woord ‘radiopresentator’ in een zin over Thomas relevant is (er dus een hoge mate van zekerheid is dat Thomas radiomaker is en geen vuilnisman).

Hallucinaties

Gedacht werd dat het orakel van Delphi door hallucinogene middelen antwoord gaf en het grappige is dat ook LLM’s kunnen hallucineren. Er wordt gezegd dat in twintig procent van de gevallen het systeem kan hallucineren: in dat geval verzint het systeem zelf ‘feiten’. Er zijn wel feitencontroles uit te voeren door een tekst te (laten) scannen door een mens of machine, of te controleren of bronnen gevonden kunnen worden en of bijvoorbeeld de gegevens klopt. Als ChatGPT zou zeggen dat iemand 300 jaar is geworden, dan kan dat gerust als een fabel worden gezien. Problematischer is het als zulke fouten gebeuren op basis van de bronnen waarmee wordt getraind. De vooroordelen en onjuistheden van de bronnen zitten ook in het model.

In het algemeen kan je er wel van uitgaan dat de tekst die wordt gegenereerd gebaseerd is op een grote hoeveelheid data van het internet en het systeem haalt daar als het ware de grote gemene deler uit. Dat levert dan ook een grote gemene deler op, oftewel een tekst die niet veel afwijkt van het gemiddelde, of bijvoorbeeld veel ‘verzachting’. Daarmee bedoel ik dat de tekst geformuleerd wordt met frases als ‘kan’ of ‘zou kunnen’ of ‘vaak’, waardoor er geen harde uitspraken worden gedaan. Het wordt problematisch als AI-tekst weer gevoegd wordt in een nieuw model waardoor nog meer naar een gemiddelde wordt gegaan.

Zoals bij veel zaken zie je ook dat er systemen komen die generatieve tekst of beelden kunnen detecteren. Dat is echter een moeilijk verhaal want zoals ACM.org het zegt: “We are saying that text and images produced by generative AI systems cannot be reliably detected today”.

LLM met eigen data

Het is duidelijk dat het bedrijfsleven graag gebruikmaakt van generatieve AI en ook van analytische AI, maar er is een probleem. Bedrijven willen niet dat bedrijfskennis in een publiek LLM terechtkomt, want dan kan iedereen die informatie gebruiken. Het is echter ook mogelijk je eigen data te benutten voor zakelijke AI, zowel voor analytische als generatieve AI-toepassingen. Daarbij kan een kleiner LMM worden gevoed met de kennis uit de organisatie om hier voordeel uit te halen. Dat zit meer in de lijn van Machine Learning die patronen in data kan ontdekken. Voor verzekeraars kan een dergelijk model bij frauduleuze claims of zelfs bij het aanvragen van een verzekering enorm waardevol zijn, want daarmee verliezen verzekeraars veel geld. Uiteindelijk is dat ook goed voor iedereen want fraude zorgt voor hogere premies.

Hoe werkt analytische AI? Laat ik een eenvoudig voorbeeld geven. Het is niet een echt realistisch voorbeeld, maar het geeft wel aan op welke manier het werkt. Stel je voor dat je wil weten of een opmerking of een recensie op een website geschreven is door een mens of door een computer. Als het een computer is zal de reactiesnelheid hoger liggen dan bij een mens. Dat wil zeggen dat het intypen van een tekst niet een paar seconden duurt maar dat die tekst er eigenlijk in een keer in is gekopieerd. Ook de druk op de knop of het van het ene invoerveld naar het andere invoerveld bewegen gaat sneller dan een mens en lijkt meer op een computer dan op een mens.

Het is van belang dat je hier ook praat over waarschijnlijkheden: hoe waarschijnlijk is het dat een score door een mens of een computer is gegeven als een score van de nul tot een mogelijk is en er bijvoorbeeld een score van 0,98 gegeven is? In het echt zijn dit soort modellen natuurlijk veel complexer, bestaan ze uit veel meer parameters en heb je in principe ook een grote dataset nodig om te trainen want je moet weten wat de goede situatie is en je moet ook weten wat de foute situatie is.

Het principe van dit soort eigen systemen maakt het interessant voor grote organisaties die hun kennis eigenlijk ook op deze manier zouden willen ontsluiten. De kennis die ze in het model stoppen is dan hun eigen kennis en het is niet de bedoeling dat anderen daar ook gebruik van maken. Dus hebben ze een eigen Machine-Learning-implementatie en -classificatie en ook een eigen LLM, die niet zoals bij een publiek enorm groot is en alles kan, maar privé is en getraind is op kennis van de organisatie.

Toepassingen

Tijdens een recent evenement bij Cloudera zag ik zeer interessante presentaties met name over de implementatie ervan in de financiële markt door IBM. Cloudera is een van de bedrijven die bedrijven in staat stellen eigen data te benutten voor zakelijke AI, zowel voor analytische als generatieve AI-toepassingen. Helaas heb ik niet de presentatie kunnen krijgen over de implementatie bij een verzekeraar waarbij generatieve AI wordt gebruikt voor het verwerken van claims (inclusief het genereren van een brief en het uit het claimdocument halen van relevante data). Het gaat hierbij over IBM in combinatie met Watson en ook hierbij gaat het om een kernproces van een verzekeraar dat vaak wordt uitgevoerd en waarbij (kleine) verbeteringen grote resultaten geven. Misschien niet een voorbeeld waar je van achterover slaat maar het zijn wel kernprocessen van een verzekeraar.

De technologie van zulke oplossingen is vaak niet proprietary maar open source. Cloudera gebruikt onder andere Apache Iceberg en Apache NiFi. Iceberg kan concurrentendata ontsluiten naar meerdere afnemers inclusief timetravel en als je wilt kun je Apache Iceberg zelf uitproberen, het is tenslotte een open-source product (ook via github). NiFi is een taal die lijkt op de mediation– en transformation-taal die gebruikt wordt bij onder andere een ESB en die berichten kan transformeren. NiFi draait in een Java Virtual Machine en is ook makkelijk te downloaden en te installeren en is via de browser te benaderen. Via de browser kun je ook beginnen met de ontwikkeling van integraties.

Het generatieve deel werkt zoals gezegd met een kleiner LLM (bijvoorbeeld LLama) dat gevoed kan worden – of beter gezegd: getraind kan worden – met de data van de organisatie en waarbij de data niet buiten de grenzen van de organisatie terechtkomen. Dat wil zeggen dat de organisatie te allen tijde de controle over de data houdt die in het systeem zit, en als het goed is kan er verder niemand bij. Een stappenplan van Cloudera laat de stappen zien om aan de slag te gaan. Het werken met datasets is echt een vak apart voor een data scientist en dat ben ik niet, dus ik houd het bij het verwijzen naar dit soort bronnen om dit duidelijk te maken.

Case: OCBC

Hoe wordt zo’n systeem bij de OCBC-bank in Singapore gebruikt? De bank zet generatieve AI breed in, zelfs voor iets zo specialistisch als het doen van aanbevelingen van aandelen/beleggingen. Het is de op twee na grootste bank in Azië en biedt zowel consumentendiensten als ook zakelijke dienstverlening. AI wordt ingezet op meerdere plekken: Sales, kredietrisico’s, fraudemanagement enzovoort. Natuurlijk is er de traditionele analytische AI die kijkt naar bijvoorbeeld kredietrisico op basis van het model en patronen in data. Maar levert het dan wat op? De salescampagnes draaien anderhalf keer beter en veel van het chatbotverkeer gaat nu via AI op basis van het model wat is getraind. Het belangrijkste is misschien wel de fraudedetectie waarbij 35 procent van de witwasalarmen nu door AI worden afgewerkt en 65 procent van de name screening (‘verdachte’ namen) door AI worden afgehandeld. Tot zo ver de ‘traditionele’ AI.

Op het gebied van generatieve AI zijn de voorbeelden misschien nog wel interessanter. Het interne LLM dat de bank getraind heeft stelt medewerkers in staat om efficiënter te zijn en wordt bijvoorbeeld gebruikt om bijvoorbeeld een brief te schrijven naar klanten of een idee voor een marketingcampagne op te zetten. Allemaal op hun eigen OCBC GPT, hun eigen LLM (of is het een Small Language Model). De bank heeft een pilot gedraaid van zes maanden met 1000 medewerkers en deze gaven aan vijftig procent productiever te zijn volgens head of AI van OCBC, Donald McDonald. Nu wordt het naar 34.000 medewerkers uitgerold. Het gaat hierbij om AI meer standaardwerk te laten doen en het ook interessanter maken voor de medewerkers.

Zelfs de toepassing om aandelen te laten kiezen door AI is door OCBC geïntroduceerd. Na een lange periode van testen op de interne medewerkers is het systeem nu beschikbaar. Interessant om te zien hoe dit verder gaat en of AI een betere stock picking capability heeft. Jaren geleden werd al gezegd dat een aap die 50 dartpijltjes op een pagina met de S&P Composite Index gooit, geld kan verdienen als hij maar geduldig is. Hoe het werkt is dat een ouder ChatGPT-model wordt gebruikt om nieuwsberichten te lezen en op basis daarvan aanbevelingen te doen. Een mechanisme wat lijkt op het PhD-onderzoek van Frederik Hogenboom in 2014 in het COMMIT-programma. AI wordt bij OCBC gebruikt om het verhaal te schrijven, dus duiding te geven waarom. Als de experts van OCBC het dan goed vinden, dan gaat het pas naar de klant.

Over de auteur: Rob Blaauboer is Business analist, Integration consultant en Head of training services bij Yenlo.