Menselijke logica integreren om AI modellen te verbeteren

Wanneer je een AI-model een simpele rekenopgave voorlegt, zoals “Susan heeft 6 appels en geeft Tom 2 appels. Hoeveel appels heeft Susan nog over?”, verwacht je dat het veranderen van de namen in het verhaal geen invloed heeft op het antwoord. Dergelijke veranderingen kunnen de prestaties van GPT-modellen echter juist verslechteren. Terwijl mensen uitblinken in het flexibel aanpassen aan nieuwe situaties, hebben AI-modellen zoals ChatGPT hier moeite mee.

Waarom gebeurt dit? Martha Lewis, universitair docent aan het Institute of Logic, Language and Computation (ILLC) en MacGillavry Fellow, legt uit: ‘De architectuur van de huidige AI-modellen is niet geïnspireerd op menselijke cognitie. Deze modellen worden getraind op een grote hoeveelheid data met behulp van machine learning, waardoor ze zo goed presteren. Dit betekent echter dat ze slechter presteren op nieuwe data die ze nog niet eerder hebben gezien.’

Om een ​​AI-model te ontwikkelen dat menselijker is en de prestaties ervan te verbeteren, werkt Lewis aan de integratie van menselijke logica en structuren in AI, een vakgebied dat bekend staat als symbolische AI. ‘We willen symbolische AI ​​en machine learning AI combineren en modellen creëren met een verklaarbare interne werking die theoretisch onderbouwd is. Hierdoor kunnen we precies begrijpen hoe het model intern werkt en wordt het menselijker.’

De zwarte doos van AI

Voor de huidige AI-modellen is het onbekend hoe ze intern precies werken. Lewis: ‘De huidige AI-modellen zijn zeer succesvol en nuttig. Theoretisch gezien weten we echter niet hoe ze tot hun antwoorden komen. Het is erg belangrijk om te weten hoe de modellen werken om te begrijpen waarom ze een bepaald antwoord geven.’

Lewis en haar collega’s bij ILLC ontwikkelen methoden om de zogenaamde ‘zwarte dozen’ in AI-modellen te ontrafelen. De uitdagingen in dit onderzoek komen vooral voort uit het feit dat deze methoden zich nog in een vroeg stadium bevinden en dat de AI-modellen zelf erg groot zijn, met complexe en wijdverspreide structuren. Deze complexiteit is eigenlijk enigszins vergelijkbaar met die van het menselijk brein.

Belangrijke samenwerkingen

Voor haar onderzoek werkt Lewis samen met wetenschappers uit verschillende disciplines. ‘Ik heb samengewerkt met onderzoekers van ILLC en de afdeling psychologie. Daarnaast heb ik contact gelegd met onderzoekers in Edinburgh, wat resulteerde in een ACL-publicatie. Het is ook geweldig dat het ILLC zo dicht bij het Informatics Institute hier in LAB42 ligt.’

In 2024 werd Lewis benoemd tot MacGillavry Fellow, waardoor ze haar eigen onderzoeksgroep kon opzetten. In de toekomst hoopt ze nieuwe modellen te ontwikkelen die een meer menselijk redeneervermogen hebben. ‘Ik vind het leuk om zowel de interne mechanismen van een AI-model te ontwikkelen als te begrijpen wat er zich afspeelt in de black box van de huidige AI-modellen.’