Nieuwe open-source handbibliotheek leert AI gebarentaal

Het is een Amerikaans initiatief, maar mensen van over de hele wereld kunnen een handje bijdragen. Letterlijk, want een nieuwe open-source bibliotheek voor foto’s van handen vormt de basis voor AI om gebarentaal te leren.

De American Society for Deaf Children lanceert in samenwerking met Hello Monday, een onderdeel van Dept, de site GiveAHand.ai. Dat claimt ‘s werelds grootste open-source beeldbank te zijn van handen.

Iedereen dit dat wil, maakt met een enkele muisklik een foto van een hand en stuurt die op naar de site. Een AI-model bestudeert die hand eerst en zal vervolgens lijnen tekenen die aangeven hoe de vingers lopen. Mensen controleren en taggen die data vervolgens om betere handmodellen te bouwen. Die menselijke verwerkingsslag is het punt dat betekenis aan de beelden wordt toegevoegd.

De volledig gecrowdsourcete data vormt een diverse dataset van handen met verschillende vormen, posities, kleuren, achtergronden en gebaren. Onderzoekers kunnen deze getagde beelden downloaden en gebruiken om hun modellen voor machine learning te verbeteren. Hierdoor kan het herkennen en vertalen van het volledige spectrum van gebarentaal veel sneller worden.

Het doel is om tot een realtime vertaalmachine te komen van gebarentaal.

Give a Hand – Hello Monday from DEPT® on Vimeo.

GiveAHand.ai is de tweede samenwerking tussen Hello Monday en ASDC. In 2021 lanceerden ze Fingerspelling.xyz: een ‘handtracker’ die gebruik maakt van machine learning om te helpen bij het leren van het gebarentaalalfabet. Momenteel zijn er meer dan 5,1 miljoen correcte handtekens geregistreerd. De ASDC gebruikt Fingerspelling.xyz nu als onderdeel van zijn eigen trainingsmateriaal.