‘Promotie: Smart CAT maakt competenties meetbaar in serious games

Om jonge mensen voor te bereiden op de competenties van de 21ste eeuw moet het onderwijs ingrijpend veranderen. Serious games voor het onderwijs lopen voorop in die ontwikkelingen. Maar hoe ontwerp je een goede beoordelingstool voor serious games? Hoe valideer je die tool en zorg je voor operationele robuustheid? Konstantinos Georgiadis verdedigt op vrijdag 2 oktober 2020 om 16.00 uur (online) zijn proefschrift ‘Smart CAT: Machine Learning for Configurable Assessments in Serious Games’ aan de Open Universiteit.

Digitale sporen slim gebruiken

In zijn onderzoek bespreekt Konstantinos Georgiadis de ontwikkeling van Smart CAT, een softwaretool die zorgt voor een automatische beoordeling van vaardigheden door slim gebruik te maken van de digitale sporen die een lerende achterlaat in een game of andere digitale omgevingen. Die methode staat bekend onder de naam Stealth Assessment (verborgen beoordeling): je wordt niet beoordeeld via een separate test, maar op het gedrag en de acties die naar voren komen uit de digitale sporen.

Stealth Assessment

De gebruikte methode van beoordeling is enerzijds gebaseerd op Evidence Centered Design, een systematische manier om competenties te beschrijven en meten. Anderzijds maakt Stealth Assessment gebruik van Machine Learning Technology, het vermogen van computers om patronen te herkennen en daarmee – in dit geval – conclusies te trekken over de beheersing van gevraagde competenties. Tot nu toe was de toepassing van Stealth Assessment echter een complex, tijdrovend en arbeidsintensief proces. Georgiadis laat in zijn proefschrift zien dat de Smart CAT software deze barrières kan slechten en tot een bredere toepassing kan leiden.

Smart CAT software

De Smart CAT software helpt gebruikers bij het ontwerpen van een Stealth Assessment toepassing en voert automatisch de analyses uit die nodig zijn om tot een beoordeling te komen. Uit testen met twee afzonderlijke serious games is gebleken, dat de beoordelingen die Smart CAT geeft valide en zeer nauwkeurig zijn. Uit computersimulaties is bovendien naar voren gekomen dat de resultaten zeer stabiel zijn onder zeer uiteenlopende testomstandigheden. Smart CAT wordt door eindgebruikers (docenten en beoordelaars) gezien als een zeer nuttig en gebruiksvriendelijk instrument. Het proefschrift van Georgiadis biedt een nieuw perspectief op data-gebaseerde beoordelingen in serious games. Daarmee draagt het onderzoek bij aan de educatieve waarde van serious games en het gebruik daarvan in het reguliere onderwijs.

Promotie Konstantinos Georgiadis

Konstantinos Georgiadis (1982, Stockholm) schreef zijn proefschrift als promovendus bij het Welten Instituut van de Open Universiteit en werkt sinds kort als game-ontwikkelaar bij de Open Universiteit. Op vrijdag 2 oktober 2020 om 16.00 uur verdedigt hij zijn proefschrift ‘Smart CAT: Machine Learning for Configurable Assessments in Serious Games’ aan de Open Universiteit in Heerlen. Zijn promotor is Prof. dr. W. Westera, Open Universiteit. De promotie vindt online plaats en is live te volgen via www.ou.nl/live.