BUas-studenten ontwikkelen leerplatform voor Nederlandse Gebarentaal met AI

Op woensdag 1 juli is het precies 5 jaar geleden dat de Nederlandse Gebarentaal (NGT) een officiële taal is in Nederland. Studenten van de opleiding Applied Data Science & Artificial Intelligence (ADS&AI) bij Breda University of Applied Sciences (BUas) hebben in slechts twee weken werkende AI-prototypes gebouwd waarmee gebruikers Nederlandse Gebarentaal kunnen leren en direct feedback krijgen op hun handgebaren.
De opdracht werd aangedragen door Nienke Fluitman van Gebaren.nl, gecertificeerd NGT-docent en ondernemer op het gebied van inclusiviteit en toegankelijkheid. Zij signaleerde een groot gebrek aan interactief online lesmateriaal voor NGT en stelde een platform voor waarbij gebruikers via een camera kunnen oefenen met vingerspelling, het spellen van namen en woorden die geen eigen gebaar hebben:
“Ik gaf deze studenten een uitdaging: kunnen jullie een model bouwen dat mensen helpt het handalfabet te leren, met echte feedback? Het resultaat was verbluffend. Ze bouwden een model dat realtime feedback geeft op individuele vingers bij het maken van een letter. Er werd zelfs al een begin gemaakt met een game en hoe gaaf zou het zijn als dat ook nog lukt. Maar wat mij misschien nog het meest raakte, is dat al deze studenten het handalfabet hebben geleerd en hun technische vaardigheden hebben ingezet voor een maatschappelijk doel. Dat is in mijn ogen een absolute winst.”
Gebarentaal toegankelijk maken
In Nederland gebruiken circa 30.000 mensen NGT als primaire taal. De resultaten overtroffen de verwachtingen. Studenten ontwikkelden applicaties met gamification-elementen, state-of-the-art AI-technieken zoals actie-herkenning, dynamic time warping (DTW) en landmarkdetectie en realtime feedback op individuele handgebaren. De apps zijn ontworpen voor niet-technische gebruikers. Studenten bouwden hun eigen trainingsdata door elkaar te fotograferen terwijl ze handgebaren maakten.
“Ik had een dove vriend op de middelbare school en wilde altijd gebarentaal leren. Deze challenge was mijn kans en ik heb het alfabet echt geleerd. Ik bleef maar oefenen en heb heel veel trainingsdata aangemaakt, omdat ik het zo leuk vond.” Khaled, ADS&AI-student
“Ik had geen ervaring met computer vision en wist niet hoe het werkte. Het was spannend, want ik wilde weten hoe een machine ‘ziet’. Handgebaren herkennen lijkt eenvoudig voor een mens, maar bleek best ingewikkeld om te implementeren.” Timur, ADS&AI-student
Leren door te doen
De projecten kwamen tot stand tijdens de zogeheten End of the Block Challenges: intensieve opdrachten van één tot twee weken die plaatsvinden tussen de reguliere onderwijsblokken. Studenten werken zelfstandig, in kleine groepen en leveren concrete resultaten op voor echte opdrachtgevers, zowel uit het bedrijfsleven als uit non-profitorganisaties. Veel van deze projecten groeien uit tot volwaardige projecten in het derde jaar, of leiden tot stages en afstudeeropdrachten. Na het succes van deze challenge organiseert BUas een vervolgweek om de ontwikkelde tools verder te verfijnen.
Samenwerken met ADS&AI
De opleiding ADS&AI is op zoek naar nieuwe opdrachtgevers voor challenges, semesterprojecten, stages en afstudeeropdrachten. Organisaties die willen verkennen wat AI en data science voor hen kunnen betekenen, zijn van harte welkom contact op te nemen.