Een machine kan gebarentaal leren herkennen

Terwijl je een berichtje tikt herkent de computer de taal die je gebruikt. Binyam Gebrekidan Gebre heeft een computerprogramma gemaakt dat het zelfde kunstje uit kan halen bij gebarentalen. Dit is een eerste stap voor het maken van automatische vertalingen van gebarentaalvideo’s.

Voor de studie van gebarentalen – natuurlijke talen die hand- en lichaamsbewegingen en gezichtsuitdrukkingen gebruiken om betekenis over te dragen – is het nodig om grote verzamelingen video’s te transcriberen. Dat kost veel tijd en daarom ook veel geld. Het Max Planck Institute for Psycholinguistics in Nijmegen heeft daarom een project opgezet om gebarentaal automatisch uit te schrijven.

Een moeilijke taak, licht Binyam toe: ‘Gebarentaalgebruikers hebben allemaal een eigen stijl en ze zien er ook anders uit. Kleren, huidskleur, grootte van de handen, persoonlijke stijl – de computer moet leren om daar doorheen te kijken. Ook de opname van de video’s verschilt sterk – het camerastandpunt, de belichting, de afstand. Ook dit compliceert de leertaak voor de computer.’ Binyam zocht aansluiting bij de machine learning groep van het Institute for Computer and Information Science van de Radboud University, waar hij 9 februari promoveert.