Zo gebruik je analytics ter verbetering van je voice- of chatbot

Organisaties die chat- en voicebots inzetten, maken nog weinig gebruik maken van analytics. Een gemiste kans, want een goede inrichting en slim gebruik van analytics zijn cruciaal voor het verbeteren van de klantervaring. 

We kennen het allemaal; je probeert een gesprek te voeren met een chat- of voice-bot, maar de virtuele agent begrijpt niet wat je zegt. Een standaard fallback-bericht volgt of nog erger: een verkeerd antwoord! Het probleem ligt in de meeste gevallen niet aan de app zelf, maar aan het feit dat organisaties niet of nauwelijks de conversational analytics mee laten wegen in het conversational design. Hierdoor heeft een bot wel de antwoorden, maar vaak op de verkeerde vragen. 

Het belang van (conversational) analytics

Natuurlijk kun je met een goed conversational ux-design de bovenstaande problemen voorkomen. Volgens Google’s richtlijnen voor een Conversational Design doe je dit onder meer door gebruikers goed in te lichten over de capaciteiten van je assistent. Bijvoorbeeld, een assistent moet gebruikers bij het opstarten niet alleen welkom heten, maar ook duidelijk maken wat hij voor gebruikers kan betekenen. Zo zorg je ervoor dat gebruikers de juiste vragen stellen. Hiervoor moet je wel een beeld hebben van welke problemen een assistent voor gebruikers moet oplossen. Een conversatie-design moet daarom altijd gebaseerd zijn op data die hier iets over vertelt. Kijk bijvoorbeeld naar meerdere databronnen als klantcontactcenters, social media of e-mail. Op basis hiervan kan je achterhalen waar je doelgroep zich mee bezighoudt in relatie tot de diensten die je aanbiedt en weet je met welke vragen je rekening moet houden in het ontwerp van je virtuele assistent.

Directe feedback

Bij het bouwen van zo’n virtuele assistent, via chat of voice, is het essentieel om na de livegang meteen de analytics vast te leggen. Conversational analytics zijn namelijk geen nice-to-have toevoeging op je dataverzameling, maar zijn in werkelijkheid essentieel om de klantervaring van bots te verbeteren. Deze data over het gebruik van je applicatie geeft je als het ware directe feedback op de manier waarop klanten met je bot interacteren. In de haast om een volledige bot te ontwikkelen, laten organisaties deze waardevolle data nog te vaak links liggen. Waarom zou je een jaar lang achter de schermen werken aan de perfecte conversatie, terwijl je het meeste kan leren van live traffic? Al houd je maar de data bij op het gebied van een paar onderwerpen, hiermee kun je je chatbot al snel laten groeien en slimmer maken. Als je vervolgens geleidelijk nieuwe onderwerpen toevoegt aan je design op basis van deze conversational data, bouw je je bot langzaam op tot een contactkanaal dat antwoord heeft op alle vragen.

Zoekopdrachten en vragen aan de voicebot van de Rabobank.

Welke metrics van je conversational analytics moet je in de gaten houden?

Binnen conversational analytics bestaan er 3 specifieke categorieën metrics die bij het ontwerpen van een voice- of chatbot relevant zijn: conversation related metrics, chatsession & funnel metrics en bot health metrics.

1: Conversation related metrics

Om conversation related metrics bij te houden, moet je je data opslaan in een data warehouse, een enorme database waar je meerdere databronnen aan kan verbinden. Hierin kun je zoveel gestructureerde data opslaan als je wil. Denk aan website-data, website logs, login data, advertising data, maar ook aan Dialogflow-chatbotconversaties. Hoe meer data je hier verzamelt, hoe beter jij je klanten kan begrijpen en van dienst kan zijn.

De 6 belangrijkste metrics die je nodig hebt om chat- of voice-conversaties te verbeteren zijn:

1. Een session ID om alle transcripts van specifieke sessies te vinden en te lezen, maar ook om het unieke aantal gebruikers van je voicebot te achterhalen.
2. Een date- of timestamp om alle transcripts te vinden binnen een bepaalde tijdsperiode en om de lengte van sessies te achterhalen.
3. Een sentimentscore om alle transcripten gebaseerd op een specifiek sentiment.
4. Een dialoogtaal en een keyword om alle transcripten voor respectievelijk een specifieke taal of woord. 
5. Een platform setting om alle transcripts van een specifieke platformen te halen. Dit geldt vooral bij multichannel voice-applicaties.
6. Intent Detection informatie, zoals de detected intent name-, fallback- of end-of-interaction-berichten, om te achterhalen of je bot verkeerd geantwoord heeft.

2: Chat session & funnel metrics

Om een beeld te krijgen van de chatfunnel en daarmee van het structurele verloop van de gesprekken die gebruikers met je bot voeren is het van belang om chatsession en funnel metrics bij te houden. Met deze metrics kun jij de conversationele route die gebruikers afleggen visualiseren. De volgende 8 meetpunten zijn hierbij het meest relevant:

1. Het totale gebruik
2. Het percentage gebruikers waarbij zoekopdrachten aan de juiste intent werden gematched en aan hoeveel zoekopdrachten deze intent is gematched.
3. Voltooiingsratio
4. Drop-off-ratio 
5. Drop-off-place
6. Gebruikersretentie
7. Endpoint Health, de mate waarin de koppeling tussen verschillende systemen goed is ingericht
8. Google Assistant: Discovery Information, over hoe gebruikers je action hebben gevonden.

3: Bot Model Health metrics

Als je werkt met de meer bekende tools om conversational bots te bouwen, zal je bot gebruiken maken van Natural Language Understanding – een vorm van machine learning – om verschillende uitspraken van gebruikers te begrijpen en ze vervolgens te matchen aan een specifieke intent – ook wel intent classification genoemd. Als dit proces goed verloopt, weet je dat gebruikers de juiste antwoorden op hun vragen krijgen. Om dit te waarborgen zijn er 10 Bot Model Health metrics die je in de gaten moet houden:

1. True positives geven aan dat een bot opdrachten aan de juiste intent hebben gematched. 
2. True negatives geven aan dat chatbots opdrachten aan het juiste fallback-bericht hebben gematched.
3. False positives geven aan dat chatbots opdrachten aan de verkeerde intent gematched, en ook niet aan een juist fallback-bericht
4. False negatives geven aan dat chatbots opdrachten niet aan juiste intent hebben gematched, terwijl die wel bestaat. De chatbot heeft de intent alleen niet opgemerkt waardoor er een fallback-bericht is geactiveerd.
5. De nauwkeurigheid is de ratio van de correct voorspelde observaties tegenover het totale aantal observaties
6. De precisie is de ratio van de positieve voorspellingswaardes
7. Recall en Fallout zijn het sensitiviteitsratio and het vals-alarm-ratio.
8. The F1 score is het gewogen gemiddelde van de precisie en recall 
9. De Confusion Matrix is a tabel om de performance van een op een testdataset gebaseerd classificatiemodel te beschrijven.
10. De ROC Curve geeft een grafische representatie van hoe goed een model is in het onderscheiden van verschillende intents

Dit artikel is geschreven in samenwerking met de DDMA Commissie Voice, die bestaat uit Maarten Lens-Fitzgerald (Global Head of Voice), Daan Gönning (Doop), Anja de Castro (Conversational UX Designer), Lee Boonstra (Google), Lieneke Grollé (KRO-NCRV), Justin Meijer (Rabobank Nederland), Carla Verwijmeren (Smartvoices en SRM), Richard de Vries (Philips), Marike van de Klomp (Vattenvall).

Over de auteur: Lee Boonstra is Applied AI Engineer and Developer Advocate bij Google en lid van de DDMA Commissie Voice