Storytime 2.0

De app Tales by AI illustreert real time een verhaal terwijl je het voorleest. Daarvoor combineerde MediaMonks voor Google hun technologieën Cloud Speech, Natural Speech en Quick Draw om gesproken woorden om te zetten in tekeningen.

Strategie

• Workshop voor Google om innovatieve ideeën op te doen 
• Met als thema kunstmatige intelligentie 

De Braziliaanse afdeling van Google Zoo, de creatieve denktank binnen Google, wilde graag met MediaMonks sparren over innovatieve ideeën. “Zonder een concrete klant, gewoon ‘blue sky’ ideeën bedenken”, vertelt Ciaran Woods, executive producer bij MediaMonks in São Paulo. Anders dan zijn naam doet vermoeden is Woods van Nederlandse komaf. Hij werkt sinds drie jaar voor MediaMonks in Brazilië. “We hebben een tweedaagse workshop met als thema kunstmatige intelligentie voor ze opgezet.” 

Een van de ideeën die uit de sessie voortkwam, was zo sterk dat MediaMonks het heeft uitgewerkt tot de app Tales by AI: een applicatie die met behulp van machine learning voorleesverhalen op mobiel en tablet tijdens het voorlezen illustreert. In de zinnen die een ouder voorleest, ontbreken sleutelwoorden. “Kinderen kunnen die woorden zelf invullen”, vertelt Woods. “Neem de zin ‘de hond heeft een … in zijn bek’. Zeg ‘bal’ of ‘stok’ en de app tekent dat object real time.” Storytelling 2.0, noemt Woods het. “De app maakt het voorlezen visueler en interactiever. In plaats van dat je je kind een tablet voorschotelt met een playlist van YouTube, maak je het een moment van ouders en kinderen samen.” 

Doelstellingen

• Techniek inzetten op een menselijke manier
• Concept uitwerken tot pilot

MediaMonks’ doel was kunstmatige intelligentie op een menselijke manier in te zetten. “Dus niet iets technisch maken omdat je een nieuwe technologie per se wilt gebruiken. We wilden echt kijken naar dagelijkse vraagstukken en hoe je AI op een menselijke manier kunt inzetten bij de oplossing”, aldus Woods. Het zoeken was dus naar dagelijkse momenten waarbij AI van toegevoegde waarde kan zijn. “In onze industrie, waarin iedereen hard werkt, zijn buiten werk familie en dus kinderen belangrijk. Dan kom je op samen eten, in bad en voorlezen.” 

Om verder te gaan dan alleen een idee, was het ook een doel op zich om een compleet concept uit te werken tot een pilot. “Na de uitwerking van het idee zijn we een prototype gaan ontwikkelen, waarbij we extra aandacht hebben besteed aan welke tools en databases het meest geschikt zijn voor een optimale ervaring.” 

Knelpunten

• Gebruiker de kracht van AI laten ervaren

Tales by AI combineert drie technieken. Allereerst Google Cloud Speech voor het herkennen van de woorden en Google Natural Speech voor de context, dus voor het begrijpen van het verhaal. “Natural Speech gebruikt machine learning om de structuur en betekenis van een tekst te duiden. En maakt het mogelijk om tekst te analyseren en in het verhaal te integreren.” De derde techniek is Google Quick Draw, die put uit een database met vijftig miljoen illustraties – die hij kent maar ook kan tekenen. “We hebben gekozen voor gaten in het verhaal waar specifieke woorden ingevuld moeten worden. Als de app een hele voorgelezen zin moet animeren, wordt het lastiger te volgen. Maar met die simpelheid geef je ook het kind de kans om bij te dragen aan het verhaal. Dat maakt het een ‘guided story’.” De app heeft daarnaast een free mode, die meer vrijheid geeft om het verhaal in te vullen. 

“De uitdaging zit in hoe je de gebruiker echt de kracht van AI laat ervaren. Dat het echt werkt als je vraagt om een verhaal met een vliegtuig en een vogel. Daarvoor moet je eerst de zin analyseren, dan de relevante woorden eruit halen en die tekenen. Dat is complex.” 

Resultaten

• De app Tales by AI

Het resultaat van de workshop is dat Google uiteindelijk een complete applicatie heeft, Tales by AI. De app is (nog) niet terug te vinden in de app-store, omdat het een pilot is. “Als er een klant is, kunnen we het gaan pushen en meer investeren in de verhalen.” 

Financiën 

De kosten voor Google zitten in de tweedaagse workshop van MediaMonks. “Een kleine investering dus”, zegt Woods, die geen harde getallen wil noemen. Dat MediaMonks na de workshop nog maanden aan het uitwerken van het concept heeft gewerkt, ziet Woods als een investering van de kant van MediaMonks. “Omdat dit zo’n sterk concept was, hebben we extra ons best gedaan er iets moois van te maken. Als Google een klant aan Tales by AI weet te koppelen, gaan wij dit betaald uitwerken en produceren tot iets groters.”

* Dit artikel verscheen eerder in het maartnummer van Emerce magazine (#176).

Over de auteur: Niels Achtereekte werkt als chef redactie bij Emerce.