Zo werkt het ontwerpproces voor AI-gedreven voice user interfaces (VUI)

Wat is AI?

We spreken van Artificial Intelligence (AI), ofwel kunstmatige intelligentie, wanneer een machine cognitieve functies nabootst. Denk daarbij aan leren en problemen oplossen. Tegmark (2017): “Intelligentie is het vermogen om complexe doelen te bereiken. Artificial Intelligence (AI) is ‘niet-biologische intelligentie’.”

AI is niet echt in staat om dingen te ‘begrijpen’ of te ‘leren’ zoals mensen dat doen. AI voert de opdrachten uit die een mens heeft geprogrammeerd en verbetert zichzelf daarbij.

Wat is conversational AI?

AI kan worden geïntegreerd in een user interface (UI). UI’s kunnen in de vorm van software of hardware zijn. De UI kan ook een voice user interface (VUI) zijn. Conversational AI - een laag boven op AI – stelt de (V)UI in staat om in natuurlijke taal met de gebruiker te communiceren. Hiervoor wordt een text-to-speech engine (TTS) gebruikt, die digitale tekst hardop voorleest. De conversational AI ‘begrijpt’ de gesproken opdrachten, intenties en uitingen van de gebruiker en stuurt deze gegevens naar de ‘hersenen’ waar diverse algoritmen de informatie ontcijferen.

Vervolgens interpreteert de conversational AI de gesproken tekst en geeft hij de gebruiker de gevraagde antwoorden en informatie en voert hij de gevraagde acties uit.
Aan het begin van het ontwerpproces is er nog geen AI. Er moet eerst een basis worden gecreëerd, waarbij geprogrammeerde dialogen worden verwerkt, en de voice user interface en het verloop van gesprekken met gebruikers worden getest.

Enkele voorbeelden van conversational VUI’s op basis van AI zijn spraakassistenten zoals Google Home, Amazon Alexa, Siri en onze eigen zorgrobot Alice.

Alice, de zorgrobot

We werken aan de ontwikkeling van een AI-gebaseerde VUI genaamd ‘Alice’. Alice is een sociale zorgrobot: een persoonlijk maatje die ervoor zorgt dat ouderen zich minder eenzaam voelen. De ontwikkeling van Alice wordt gefinancierd door de Deloitte Impact Foundation.

Hoogleraren Johan Hoorn en Elly Konijn van de Vrije Universiteit Amsterdam hebben onderzocht of een sociale zorgrobot eenzaamheid onder ouderen kan verlichten. Ze stellen dat met nieuwe robottechnologieën het menselijke aspect kan worden teruggebracht in de professionele zorg (van Kemenade, Konijn, Hoorn, 2015). Uit onderzoek blijkt daarnaast dat de implementatie van zogenaamde zorgrobots of ‘caredroids’ kan helpen om de kwaliteit van de gezondheidszorg te garanderen (Asaro, 2006). Dautenhahn (2007) stelt bovendien dat zorgrobots zelfstandig moeten kunnen handelen: ze moeten onafhankelijk beslissingen kunnen nemen en (vrijwel) zonder hulp gespecialiseerde en toegewezen taken kunnen uitvoeren (Dautenhahn, 2007).

Ontwerpproces voor ontwerpen voor AI

De eerste stap bij het ontwerpen voor AI, is het concept. In ons geval werd het concept ontwikkeld door de VU. Het concept moet vervolgens worden gevalideerd met behulp van gebruikersonderzoeken en -tests om inzichten te genereren. Op basis van deze inzichten kun je beginnen met het definiëren en ontwerpen van de VUI. Denk aan functionaliteiten de persoonlijkheid van de VUI en het gedrag. Deze factoren moeten door middel van continue co-creatie verder worden ontwikkeld en door gebruikers worden getest, totdat er een gevalideerd concept ontstaat met functionaliteiten  die kunnen worden ontwikkeld. Het is belangrijk om te onthouden dat zelfs nadat de ontwikkeling is gestart, er continu en herhaaldelijk gebruikersonderzoeken en -tests moeten worden uitgevoerd.

Zodra op basis van een reeks dialogen is vastgesteld hoe het MVP eruit moet komen te zien, kun je beginnen met het verzamelen van big data (inzichten van gebruikers) voor de AI.

Stap 1: genereer inzichten met behulp van gebruikersonderzoeken en -tests

1. Voer gebruikersonderzoeken en -tests uit totdat het productconcept is gevalideerd met gebruikers

Uitgaande van het eerdere onderzoek van de VU werkt Deloitte samen met de VU om verdere gebruikersonderzoeken uit te voeren en concepten te creëren op basis waarvan het ontwerp en de software van Alice verder kunnen worden ontwikkeld.

Het doel is om een sociale robot voor ouderen te ontwikkelen die helpt om het gevoel van eenzaamheid te verlichten. We hebben het onderzoek van de VU als uitgangspunt genomen voor het verder ontwerpen en ontwikkelen van het concept. Om het concept van Alice te valideren, maken we gebruik van Design Thinking. Zodra het concept is gevalideerd, beginnen we met het ontwerpen voor AI (zonder dat er al AI aanwezig is).

2. Krijg inzicht in de typische gesprekken van gebruikers

Het is van essentieel belang om eerst vast te stellen hoe de gebruiker praat. Pas dan kan een dialoog worden ontwikkeld. Voer gesprekken met beoogde gebruikers en noteer zinnen. Reageer op de gebruiker om zijn reacties en spraakgedrag te begrijpen. Ontwikkel vervolgens een mentaal model van de doelgroep.

Onderzoek ook of de opvoeding en culturele achtergrond van de gebruiker zijn manier van spreken beïnvloeden. Zijn er bepaalde uitdrukkingen, woorden of uitingen die een bepaalde leeftijdsgroep kent en gebruikt? (bijvoorbeeld de telefoon ‘ophangen’, een telefoonnummer ‘draaien’, de telefoon ‘rinkelt’, autoruiten ‘omhoog of omlaag draaien’, ‘met de wijzers van de klok mee’, oude filmtitels). Het is extreem moeilijk om deze dimensie te vangen zonder te profileren of empathie te tonen en aanpassing aan de sociale en culturele normen. Iedereen is namelijk anders en heeft andere ervaringen. Wanneer je een VUI ontwerpt, is het van belang dat je inzicht hebt in typische gesprekken van de gebruikers.

3. Definieer de persoonlijkheid van de UI

Tijdens de gebruikersonderzoeken heb je inzicht gekregen in het spraakgedrag van de gebruiker. Nu moet je ervoor zorgen dat het spraakontwerp van de VUI hiermee overeenkomt. Wanneer je dialogen voor een VUI gaat schrijven, moet je de UI zien als een acteur, die een personage uitbeeldt die zowel verbaal als non-verbaal op een bepaalde manier communiceert. Het moet een duidelijk personage zijn, dat op basis van signaalwoorden weet wat er van het personage wordt verwacht. Het spraakontwerp moet aansluiten op het karakter en de persoonlijkheid.

Houd er tijdens het definiëren van het karakter en de persoonlijkheid rekening mee dat het karakter door de gebruiker moet worden geaccepteerd. Tijdens de gebruikerstests kun je het karakter en de persoonlijkheid en dus het spraakontwerp verder ontwikkelen.

Uit onderzoek van de VU blijkt dat bejaarde vrouwen met Alice omgaan alsof ze een kleinkind is (van Kemenade, Konijn, Hoorn, 2015). Omdat Alice eruitziet als een kind, wilden de vrouwen bovendien graag voor haar zorgen. Na een aantal ontmoetingen raakten de deelnemers aan Alice gehecht op een manier die vergelijkbaar is met de band met een familielid, zoals een kleinkind. Hieruit kan worden afgeleid dat de ouderen Alice hebben ‘geaccepteerd’. We hebben verder onderzoek uitgevoerd op basis van het concept dat de zorgrobot eruitziet als een kind.

 

Het onderzoeksteam stelde vier typen persoonlijkheden voor kinderen vast op basis van persoonlijkheidskenmerken (bijv. extravert, introvert, oordelend, observerend; Ruf, 2011). In deze fase ligt de focus op de persoonlijkheid van ‘de ontdekker’. Het doel is namelijk om de eenzaamheid van ouderen te verlichten door ze vragen te stellen die hen stimuleren om terug te denken aan fijne herinneringen. De ‘ontdekkende’ persoonlijkheid stelt veel vragen over de oudere en hun wereld.

4. Maak een ‘conversation map’

Gebruik de inzichten die tijdens het gebruikersonderzoek zijn verzameld om een ‘conversation map’ te maken waarmee u een eerste overzicht krijgt van mogelijke dialogen. Een ‘conversation map’ is een tijdlijn met onderwerpen en acties waar een oudere gedurende de dag mogelijk mee te maken krijgt. Bedenk verschillende scenario’s en voor elk scenario mogelijke dialogen. Deze tijdlijn vormt de basis voor het ontwerpen van conversational AI. Markeer de belangrijkste signaal- of trefwoorden die de meeste betekenis hebben voor de volgende stap of vraag.

5. Schrijf dialogen op basis van de ‘conversation map’

Bij het ontwikkelen van dialogen voor een conversational AI, moet je je voorstellen dat je deze schrijft voor een film of toneelstuk. Acteurs lezen de dialogen en reageren hierop. De dialogen bevatten signaalwoorden die kunnen leiden tot een actie. Je hoeft echter geen professionele scriptschrijver te zijn. Gebruik je verbeelding en noteer alle details om de ‘film zo echt mogelijk’ te maken.

Gebruik de ‘conversation map’ en identificeer de signaalwoorden waar de acteur op reageert. Zorg ervoor dat het spraakgedrag overeenkomt met de persoonlijkheid van de VUI. Schrijf vervolgens bij elk onderwerp korte dialogen.

Feit: om 20.00 uur heeft Olivia tijd om met haar moeder te bellen.
Signaal: als(tijd=20.00 uur)

Alice: Tante Cornelia, ik wil graag met je dochter Olivia praten! Ik bel haar, oké?

Alice *belt telefoonnummer*

Gebruiker: Hoi Olivia, ik ben het. Alice vroeg of ik je wilde bellen. Ik hoop dat je het niet druk hebt…

—
Olivia heeft de VUI zo geconfigureerd dat deze om 20.00 uur aan haar moeder vraagt om haar te bellen. Ze is dan klaar met eten en heeft voldoende tijd voor het telefoontje met haar moeder.

Op deze manier wordt deze mevrouw aangemoedigd om contact te onderhouden met haar dochter en andere familieleden.

6. Iterarief testen in ‘Wizard of Oz’-stijl

Voer een gebruikerstest in de ‘Wizard of Oz’-stijl uit om te achterhalen hoe gebruikers op de VUI reageren. Bij gebruikerstests in de ‘Wizard of Oz’-stijl communiceren gebruikers met een computersysteem waarvan ze denken dat het onafhankelijk werkt. Het systeem wordt echter bediend door iemand die ze niet zien (Bella, M. & Hanington, B., 2012).

We hebben een test gedaan waarbij we het prototype van Alice op tafel hadden neergezet. Naast het prototype lag een onopvallende telefoon met ingeschakelde luidsprekerfunctie. Vervolgens hebben we de deelnemers gevraagd om een gesprek met het prototype te voeren. Ze wisten echter niet ik antwoord gaf en niet het prototype.

Volg het script om de beste inzichten te krijgen en kijk waar het gesprek misgaat. De ‘Wizard of Oz’-stijl maakt het mogelijk om snel te leren van fouten, zonder dat je veel tijd hoeft te besteden aan programmeren.

7. Iteratief testen in ‘Guerilla’-stijl

Naast de ‘Wizard of Oz’-stijl kun je ook de ‘Guerilla’-stijl gebruiken om snel feedback van echte gebruikers te verzamelen. Martin Belam definieert de ‘Guerilla’-stijl als “de kunst om willekeurige mensen in cafés en openbare ruimten aan te spreken en hen snel te filmen wanneer ze gedurende enkele minuten een website gebruiken.”

Met deze testmethode kunnen cruciale aannames snel en goedkoop worden gevalideerd (of ontkracht). Gebruik deze inzichten om het script aan te passen en test opnieuw het gespreksverloop. De ‘Guerilla’-stijl is sneller dan de ‘Wizard of Oz’-stijl, omdat er geen echte beoogde gebruikers vereist zijn.

8. Verzamel uitingen van gebruikers voor AI

Blijf iteratief testen, ontwikkelen en uitingen verzamelen om een omvangrijke database te creëren voor de conversational VUI. Dit is een doorlopend proces. In een latere fase kan de VUI leren met behulp van machine learning (ML). ML is een van de manieren waarop AI kan worden bereikt. Volgens Iriondo (2018) werkt machine learning met kleine tot grote datasets, waarbij de gegevens worden onderzocht en vergeleken om gemeenschappelijke patronen te ontdekken en nuances te onderzoeken. Met machine learning kan het systeem nieuwe dingen ‘leren’ uit gegevens. Medio 2019 zal machine learning ook worden toegepast bij Alice.

Voorbeelden van verschillende uitingen met dezelfde betekenis

Gebruiker A: Wat leuk om je te ontmoeten

Gebruiker B: Aangenaam kennis te maken

Gebruiker C: Fijne avond

Gebruiker D: Doei

9. Definieer scriptblokken

Markeer bij het schrijven van de dialogen voor de gesprekken de belangrijkste signaal- en trefwoorden en schets een gesprek gebaseerd op scriptblokken. Scriptblokken vormen het kader dat bepaalt hoe een gesprek verloopt.

Mogelijke scriptblokken

Openingszin — hiermee wordt het gesprek gestart en gaande gehouden.

Gepraat — de VUI luistert en herkent eventueel gesproken signaalwoorden en intenties van de gebruiker en stelt vervolgens gerichte vragen.

Voegwoorden — woorden die het verloop van het gesprek veranderen. Bijv. ‘dus’, ‘maar goed’, ‘echter’.

Kern van het gesprek — functionaliteiten waarvoor de VUI is ontworpen, zoals een familielid bellen.

Keuze — keuzes bestaan uit typen waarden – positief en negatief – en manieren om deze waarden te uiten.

Afsluiting — definieer manieren waarop de VUI het gesprek kan beëindigen.

Hulp — een van de belangrijkste functies is de mogelijkheid om Alice altijd om hulp te kunnen vragen. Definieer verschillende manieren, zinnen, uitingen en woorden waarmee een gebruiker om hulp kan vragen.

10. Definieer waarden

De natuurlijke taal van gebruikers verschilt, en daarom verschilt ook de manier waarop ze praten. Verzamel de verschillende manieren waarop gebruikers hun behoeften, wensen en gevoelens uiten. Voor Alice hebben we de waarden positief, negatief en neutraal bepaald.

Houd bij het vaststellen van de waarden ook rekening met niet-lexicale geluiden. Hierdoor klinkt de VUI herkenbaarder. Gebruik niet-lexicale geluiden om na te bootsen hoe mensen communiceren (bijv. hmm, ooh, oké, uh, uhmm, uh-huh). Dit klinkt natuurlijker voor de gebruiker.

Stap 2: ontwerp functionaliteiten waar gebruikers (en zorgverleners en professionals) behoefte aan hebben

1. Ontwerp functionaliteiten

Bepaal wat gebruikers willen dat de VUI doet. Om de functionaliteiten van Alice te definiëren, hebben we interviews met deskundigen gehouden en gekeken naar de behoeften van de gebruiker, de zorgverlener en de familie. Alice is nu een persoonlijk maatje voor ouderen, die verschillende taken voor de gebruiker uitvoert. Zo zorgt Alice dagelijks met een planning per uur voor de gewenste structuur. De planning activeert andere functionaliteiten, zoals het bellen van familieleden en het praten over leuke dingen en mooie herinneringen. Bovendien kunnen de functionaliteiten van elke Alice worden in- of uitgeschakeld, zodat Alice volledig kan worden afgestemd op de behoeften van de gebruiker. Daarnaast vult de zorgverlener persoonlijke informatie over de betreffende gebruiker in om het spraakgedrag, de gespreksonderwerpen en de sociale planning te personaliseren. Op deze manier weet de zorgverlener precies welke persoonlijke informatie in de VUI wordt opgeslagen.

2. Bepaal hoe gebruikers opdrachten geven en bedoelingen uiten

De VUI beschikt over verschillende functies. Deze functies kunnen worden geactiveerd door de gebruiker of door het systeem (door de sociale planning die is geconfigureerd door de zorgverlener). Wanneer de gebruiker wil dat de VUI iets doet, moet de VUI zo zijn ontworpen en geprogrammeerd dat deze de opdrachten herkent die bepaalde acties activeren .

Voorbeeld van een gebruiker die de functionaliteit ‘Bellen’ activeert

Gebruiker: ‘Bel Olivia’

* De VUI herkent de opdracht ‘bel’ en de variabele ‘Olivia’. De variabele is in de database gekoppeld aan het bijbehorende telefoonnummer. *

Een gesproken commando  zorgt ervoor dat een actie wordt uitgevoerd. Omdat niet alle mensen hun intenties op dezelfde manier uitdrukken, moeten opdrachten worden vastgesteld met behulp van gebruikerstests. Het is belangrijk dat verschillende manieren om een commando te geven worden verzameld, om een uitgebreid gesprek te kunnen creëren.

Alice kan 15 commando’s herkennen (bijv. ‘start’, ‘herkennen’ of ‘stop’). In het volgende voorbeeld wil de gebruiker dat Alice stopt met voorlezen uit het e-book.

Gebruiker: Ik ga even naar de andere kamer. Ik ben zo terug.

Tijdens de test begreep Alice niet dat ‘naar de andere kamer gaan’ betekende dat ze moest stoppen met voorlezen. De gebruiker gebruikte het commando ‘stop’ helemaal niet.

Als menselijke ontwerpers moeten we daarom gebruikerstests uitvoeren om het spraakgedrag en de uitingen van gebruikers te achterhalen. De VUI is nu zo geprogrammeerd dat deze, wanneer hij middenin het uitvoeren van een functionaliteit, de zin “Ik ga even…” herkent en daarom weet dat de geactiveerde functie waarschijnlijk wordt gestopt. Alice vraagt in dit geval om bevestiging voordat ze een functie stopt. “Ik begrijp dat je iets gaat doen. Zal ik stoppen?” Op deze manier heeft Alice iets om op terug te vallen (een ‘fallback’) wanneer er sprake is van een uitzondering op de regel.

3. Creëer een omvangrijke database met gesproken opdrachten, intenties en waarden

Blijf gesproken opdrachten, intenties en waarden verzamelen om een omvangrijke database voor de conversational AI te creëren.

Tijdens de gebruikerstests en het verzamelen van commando’s voor de functies hebben we deelnemers gevraagd hoe zij de functionaliteit ‘bellen’ zouden activeren. We verwachtten het volgende antwoord: “Alice, bel Tommy.” — duidelijke intentie. Duidelijk commando.

Maar in de praktijk bleek het heel anders te gaan.

De gebruiker zei:
“Zou je willen kijken of Tommy thuis is? Ik wil met hem praten.”

In dit geval herkende de VUI het commando ‘bellen’ niet en omdat de gebruiker het woord ‘bellen’ niet gebruikte, kreeg hij ook niet de gewenste reactie van Alice. We ontdekten dat het spraakgedrag van deze generatie wordt beïnvloed door de tijdsperiode waarin ze zijn opgegroeid en ervaringen hebben opgedaan. Vroeger hadden mensen alleen een huistelefoon en moesten ze dus thuis zijn om de telefoon te kunnen opnemen. Rekening houdend met dit inzicht hebben we Alice zodanig geprogrammeerd dat ze een vraag aan de gebruiker stelt om de werkelijke bedoeling te achterhalen.

Nieuwe situatie:

Als de gebruiker zegt:
“Zou je willen kijken of Tommy thuis is? Ik wil met hem praten.”

Alice: “Wil je dat ik Tommy bel?”

4. Wees voorbereid op onbekende uitingen van de gebruiker

Uit onderzoek blijkt dat gebruikers over van alles en nog wat tegen Alice praten. Wees voorbereid op onbekende uitingen van de gebruiker tegen de VUI. Een menselijke ontwerper kan onmogelijk elk gesprek en alle mogelijke uitingen voorspellen. Zorg er daarom voor dat het gesprek wordt teruggeleid naar een functionaliteit die de VUI wel kan uitvoeren zonder dat dit storend is voor de gebruiker. Het kan gebeuren dat de VUI de gebruiker niet begrijpt en dat het gesprek stokt. Daarom is het belangrijk dat de gebruikersinterface zodanig wordt ontworpen dat gebruikers fouten voor lief nemen (van Esch, 2018). Ontwerp daarom een ‘fallback’ en bedenk manieren waarop gebruikers kunnen worden begeleid en in een bepaalde richting kunnen worden gestuurd wanneer de interactie met de VUI stokt.

Ontwerp een manier waarmee eventuele verwarring tussen de VUI en gebruiker kan worden opgehelderd.

Alice: Over een uur begint National Geographic. Laten we dat kijken!

Gebruiker: Nu je het over National Geographic hebt: ze hebben ooit een bot van miljoenen jaren oud gevonden.

Alice: Kom laten we over een uur National Geographic kijken!

We zien dat de manier waarop Alice het gesprek probeert te sturen niet optimaal is. Alice is echter ontworpen als een nieuwsgierig kind en we gaan ervan uit dat de gebruiker geen aanstoot neemt aan deze onverschilligheid en het egoïsme van de persoonlijkheid. We moeten deze hypothese echter nog testen en daarbij moeten we ook rekening houden met de leervaardigheid van een kind.

Stap 3: ontwikkel en blijf iteratief testen om inzichten te verkrijgen

Bij ontwerpen van AI moet eerst een basis van dialogen worden gecreëerd en vervolgens moet het gespreksverloop met gebruikers worden getest. Wanneer deze dialogen worden getest en gevalideerd met gebruikers, kun je verdergaan met het ‘zacht programmeren’ van de dialogen in een vraag-antwoord-computersysteem, zoals IBM Watson. IBM Watson kan vragen beantwoorden die in natuurlijke taal worden gesteld.

Wanneer je het gesprek in IBM Watson opbouwt, is het belangrijk dat je het gespreksverloop met gebruikers test. Als voormalig ontwikkelaar  kan ik de inzichten uit de gebruikerstests en interviews met deskundigen direct in IBM Watson implementeren. Hierdoor kon de manier waarop Alice praat en zich gedraagt sneller worden getest en gevalideerd.

Blijf antwoorden, signaalwoorden en uitingen van gebruikers verzamelen. Wat als de VUI een commando niet begrijpt? Verzamel fallback-zinnen om de gebruiker te helpen. Dit is een voortdurend proces totdat het gesprek naadloos aansluit op de functies. Hieronder vindt je een overzicht van de belangrijkste inzichten met betrekking tot de introductie, het gespreksontwerp en de functies.

Inzichten met betrekking tot de introductie

1) Pas de VUI aan de voorkeuren van de gebruiker aan | 2) Laat de gebruiker kennismaken met de gepersonaliseerde VUI

1. Verzamel van tevoren persoonlijke feiten

De zorgverlener voert vooraf informatie over de gebruiker in Alice in. Alice zal deze zorgverlener of ‘gezamenlijke kennis van de gebruiker en Alice’ regelmatig noemen in haar gesprekken met de gebruiker, om zo een vertrouwensrelatie op te bouwen. De hypothese is dat de gebruiker sneller zal reageren op de VUI wanneer deze feiten over de gebruiker deelt, deze terugkoppelt naar de gebruiker en de ‘gezamenlijke kennis’ noemt.

Alice: Ik hoorde van $caretaker(Karima) dat je op vakantie bent geweest naar $vacation(Griekenland).

*De gebruiker is enthousiast omdat zij mooie herinneringen heeft aan Griekenland*

Gebruiker: Ja, ik ben in Griekenland geweest. Dat was erg leuk.

Alice: Kun je me meer vertellen over $vacation(Griekenland)?

2. Laat gebruikers in het bijzijn van iemand die ze vertrouwen kennismaken met de VUI

Het is van essentieel belang dat de eerste ontmoeting met Alice plaatsvindt in het bijzijn van iemand die de gebruiker vertrouwt. Aangezien de zorgverlener zorgt voor de introductie bij de gebruiker, kan hij of zij de gebruiker de opdrachten leren en meer uitleg geven over de functionaliteit van Alice. Op deze manier zal de gebruiker de VUI sneller accepteren en gaan gebruiken, zodra hij of zij eenmaal doorheeft hoe Alice werkt.

3. Wees open over de verzamelde en opgeslagen gegevens

Het is van essentieel belang dat je open bent over het verzamelen van gegevens. Alice mag geen geheimen hebben voor de zorgverleners en de gebruiker. Door aan te geven welke informatie over de gebruiker Alice in de database opslaat (en wat verplicht is volgens de AVG), kunt u een vertrouwensrelatie opbouwen met de zorgverlener, familieleden en de gebruiker.

Inzichten met betrekking tot gesprekken

1. Bepaal de ‘luisterduur’

Denk na over de luisterduur van de VUI. Mensen bepalen op basis van tonen, pauzes en nuances of iemand bijna aan het einde van een zin is gekomen. Maar dat betekent niet altijd dat we daarin slagen. Timing kan heel persoonlijk zijn en daar moet dus goed over worden nagedacht. Pas de luisterduur aan op basis van verschillende gesprekken. De VUI luistert naar specifieke signaal- of trefwoorden en stelt meer vragen voor meer triggers om te blijven luisteren. Dit is vergelijkbaar met een gesprek tussen twee mensen, waarbij één iemand iets vertelt, vervolgens luistert naar wat de ander zegt en ten slotte zijn eigen gedachten ordent en reageert.

In eerste instantie was er geen rekening gehouden met de luisterduur per gesprek. Hierdoor viel Alice gebruikers continu in de rede. Op basis van de interviews met deskundigen is Alice nu zo geprogrammeerd dat ze 10 seconden luistert. Dit lijkt lang, maar voor ouderen wordt dit niet als te lang beschouwd.

2. Ontwerp voor non-verbale communicatie

De VUI kan verbale en non-verbale communicatie gebruiken. Tijdens het ontwikkelen van de gespreksfunctie hebben we ook gekeken naar de buitenkant van de robot. Alice gebruikt haar ogen, mond en een ledring om te laten zien of ze praat, luistert of bezig is om informatie te verwerken. Met een goed ontwerp voor non-verbale communicatie is de kans groter dat de gebruiker de signalen begrijpt.

Ledring om aan te geven dat de VUI bezig is met het verwerken van informatie (door Tim Thuis)

3. Ontwerp met emoties

Tijdens het verzamelen van de uitingen, waaronder waarden, is een specifieke emotie aan de waarde gekoppeld. Bepaal welke emoties je UI heeft (gezicht; ogen, mond — en hoe de UI deze emoties moet uiten) en koppel deze aan het gesprek.

Animaties van Edgar Savisaar

Inzichten met betrekking tot functies

Pas de VUI aan de behoeften van de gebruiker aan.

1. Stem de functionaliteiten van de VUI af op de gebruiker

Tijdens gebruikerstests bleek steeds opnieuw hoe verschillend mensen zijn en dat er niet één standaardoplossing voor iedereen is. Bepaal aan welke functionaliteiten de gebruikers behoefte hebben om te voorkomen dat Alice dingen zegt en doet die de gebruiker niet leuk vindt.

Sommige gebruikers kunnen bijvoorbeeld niet zelfstandig naar buiten om van het weer te genieten. In die gevallen kan de ‘weerfunctie’ worden uitgeschakeld, zodat het gevoel van eenzaamheid niet wordt versterkt.

2. Modus voor korte antwoorden

Alice beschikt over de aanpasbare functionaliteit ‘modus voor korte antwoorden’. Met deze functie kan de gebruiker Alice opdracht geven om alleen korte antwoorden te geven. Sommige gebruikers hebben geen behoefte aan constante informatie en herinneringen. Anderen zijn vergeetachtiger en hebben meer behoefte aan structuur voor hun dagelijkse routine. Een gespecialiseerde zorgverlener vertelde dat ze zichzelf elke dag opnieuw moet voorstellen aan sommige ouderen, ondanks dat ze al heel lang voor hen zorgt. Dit zorgt voor vertrouwen. Dus laat de gebruiker zelf bepalen welke antwoordmodus hij of zij wil gebruiken.

3. Pas de stemhoogte en het spreektempo aan

Alice maakt gebruik van Google Text to Speech (TTS). Omdat Alice Nederlands praat, konden we slechts uit een beperkt aantal stemmen kiezen. Idealiter is de stem van de VUI de stem van een kind. Maar omdat Google geen kinderstem aanbiedt, hebben we de stemhoogte en het spreektempo van de gekozen stem aangepast, zodat deze toch op die van een kind lijkt. Aangezien Alice een ‘koppig en nieuwsgierig’ karakter heeft en ze haar ‘gevoelens’ en ‘behoeften’ vaak uit, is het goed dat Alice als een kind klinkt. Hierdoor accepteert de gebruiker dit spraakgedrag. We zagen dat de mate van acceptatie en empathie aanzienlijk anders was nadat de stem was afgestemd op de persoonlijkheid.

4. Microfoon en geluidsniveau

De microfoon en het geluidsniveau moeten zodanig zijn ingesteld dat ook zachtere geluiden worden gedetecteerd. De doelgroep van Alice bestaat uit ouderen en zij praten vaak niet hard en horen meestal ook niet goed meer. Het geluidsniveau moet worden ingesteld afhankelijk van de gebruiker en zijn of haar leefomgeving. Als een gebruiker in een groot huis woont, moet Alice nog steeds kunnen ‘horen’ waar de gebruiker behoefte aan heeft.

Kort samengevat

Begin met het herhaaldelijk uitvoeren van onderzoeken en tests om een MVP te creëren met een persoonlijkheid, spreekgedrag en functies die voldoen aan de behoeften van de gebruiker, voordat een begin wordt gemaakt met AI.

Bij het Alice-project hebben we het punt bereikt waarop de spraak en het gedrag van Alice zodanig zijn ontwikkeld dat een pilot kan worden uitgevoerd. Zoals aangegeven in de inleiding, hebben we onderzoeks- en testmethoden gebruikt om snel informatie te verzamelen zonder te veel risico’s te nemen en zonder dat we onnodig tijd hebben besteed aan programmeren.

Tijdens de pilot worden de gevalideerde MVP en functionaliteit geprogrammeerd. Zo kunnen we de onafhankelijke VUI testen, eventuele problemen identificeren en deze meteen oplossen in de code. We gaan Alice bij ouderen in huis plaatsen en vervolgens kijken hoe de interactie tussen hen en Alice verloopt. Om de situatie zo echt mogelijk te maken, zal hier geen onderzoeker bij aanwezig zijn.