-

Case: AI maakt visuele podcast voor dove kinderen

Een podcast voor dove en slechthorende kinderen met behulp van door AI gegenereerde beelden. Voor het KRO-NCRV Willem Wever werden zo de Elfstedentocht, de maanlanding en de watersnoodramp overgebracht.

Strategie
  • Inclusiviteit
  • Inzet AI

De basis is dat inclusiviteit een voorname rol speelt. Rosanne van de Leemkolk, Digital creative bij KRO-NCRV, onderzocht met haar team hoe dove en slechthorende kinderen een podcast consumeren. “Dat gebeurt nu via een transcript, maar we ontdekten al snel dat kinderen niet zo’n lap tekst gaan lezen. Bovendien is het belangrijk om een gevoel over te brengen en een tolk kan dat heel goed.” Zo begon de ambitie te leven om de podcast ‘Toen was ik 12’ van het kinderprogramma Willem Wever te ‘vertalen’.

Het oog viel daarbij op Artificial Intelligence en dan in het bijzonder het Open AI Systeem VQGAN+CLIP. Dat is een tool die tekst kan omzetten in beeld. Uit onderzoek onder dove en slechthorende kinderen van opleider Koninklijke Kentalis bleek dat het belangrijk is om er op drie manieren voor te zorgen dat de podcast gaat leven: je moet ‘ondertitelen’, een gebarentolk inzetten én (sfeer-)beelden genereren.

Doelstellingen
  • Waardering door doelgroep
  • Essentie overbrengen

Dit was een project van NPO Innovatie en daar zijn de doelstellingen altijd inhoudelijk: de omroep wil realiseren dat de doelgroep de podcast zou waarderen met een voldoende. In de testgroep van twee verschillende scholen werd de definitieve podcast gewaardeerd met een 7,5. Van de Leemkolk: “We hebben het in twee fases gedaan zodat we nog wat konden verbeteren. Zo is het belangrijk dat de tolk niet teveel voor het beeld staat. De ondertiteling moet bijvoorbeeld ook echt onderin het beeld.” En ook het ‘vertolken’ van de muziek bleek belangrijk voor het overbrengen van de essentie.

Knelpunten
  • Consistentie van beelden
  • Synchronisatie met vertalen

Serge Cornelissen van Cornelistools, verantwoordelijk voor de techniek, ontving de transcripties van Toen ik 12 was met de opdracht er passende beelden bij te genereren zodat het een lopend verhaal werd. Een van de uitdagingen was om het verhaal en de AI-beelden samen te brengen en consistent te houden. “Als er een kindje is met een blauwe jas, moet je die jas later terugzien in het verhaal. Dat klinkt logisch, maar daar moet je wel op letten bij het maakproces.”

Een andere uitdaging is de tijdsgeest in het verhaal. Ruimtevaarder André Kuipers zat in zijn jeugd op zijn kamertje naar een tv te kijken. Dat kan natuurlijk geen flat screen-TV zijn, aangezien het in de jaren 70 was. Het systeem maakt gebruikt van de database ‘ImageNet_16384’ met daarin veertien miljoen afbeeldingen. “Hij weet veel,” zegt Cornelissen, maar niet alles. “Je ziet dat de fysieke wetten lastig zijn. We gaven de opdracht ‘teken een kindje dat naar de maanlanding op TV kijkt’. Dan krijg je een maan met een kindje erop en er zweeft nog ergens een tv in de lucht. Hij snapt de concepten, maar de combinatie is lastig. Daar moet je een beetje bij helpen.”

Andere beelden werken juist heel goed: “Er zat een droom in van André Kuipers die van zijn bed een ruimteschip maakt. Juist dát beeld kan zo’n computer dan weer heel erg mooi maken. Dat hadden wij zelf niet kunnen tekenen. Soms is het gebrek aan verstand van de wereld juist heel goed. Dat maakt het een leuk spel tussen beeld en computer.” Er werd ook intensief samengewerkt met de tolken, stelt Van de Leemkolk. “Dat is belangrijk als het gaat om de snelheid. Je moet opletten dat het tempo van de beelden en het vertalen synchroon lopen. De gebarentaal is de basis en niet de audio.”

Resultaat
  • 2.600 keer bekeken
  • Goed socialemediabereik

Er zijn drie versies van de podcast van Willem Wever online gekomen: over de Elfstedentocht, de watersnoodramp en de maanlanding. Het eindresultaat werd dus gewaardeerd met een 7,5 en de drie series zijn 2.600 keer bekeken. Dat lijkt misschien weinig, maar met zo’n vijfhonderd dove en slechthorende kinderen tussen de 9 en 12 jaar in Nederland is dat een goed percentage. Ook via LinkedIn werd de serie goed bekeken, ook omdat de bekende doventolk Irma Sluis hem deelde. Van de Leemkolk: “Wij wilden deze content dan ook toegankelijk maken voor iedereen.”

Financiën

De technologie is open source dus niet duur, maar je moet wel tijd investeren om de beelden te selecteren en eventueel aan te passen om er een lopend verhaal van te maken. Qua kosten en snelheid is het volgens de betrokkenen niet te vergelijken met het volledig zelf maken van een film.

* Dit artikel verscheen eerder in het juninummer van Emerce magazine (#190).

Over de auteur: Bas Hakker is redacteur bij Emerce.

Deel dit bericht

Plaats een reactie

Uw e-mailadres wordt niet op de site getoond