Google Analytics voor chatbots is gelanceerd: wat zijn de ervaringen?

Nu de eerste bedrijven experimenteren met chatbots is de vraag of en hoe goed ze werken. Vlak voor het einde van het jaar is de Google Analytics voor chatbots officieel gelanceerd: Chatbase. Wat zijn de eerste ervaringen? En waar let Samet Yilmaz op – die binnen E-sites de innovatietak ‘Labs’ leidt – bij de ontwikkeling en verbetering van bots?

Het afgelopen jaar is er zonder twijfel bij veel bedrijven gesproken over de opkomst van chatbots. Alleen voor Facebooks Messengerplatform zijn er inmiddels al meer dan tweehonderdduizend bots gebouwd voor allerlei soorten (klanten)service en commercie. Een deel is slechts ontwikkeld om de mogelijkheden te verkennen, maar anderen zijn er al van overtuigd dat Messenger en – op termijn – andere chatapps een zeer belangrijk contactkanaal worden. KLM gelooft bijvoorbeeld in een toekomst van ‘concierge service thinking’ via de chat.

Chatbase voor het vinden van missers en nieuwe acties

Voor iedere chatbotenthousiast is nu de vraag hoe goed de gelanceerde bot werkt en welke gespreksflows nog om verbetering vragen. Want met name dat gaat nogal eens mis. Die vragen hoopt Google te beantwoorden met de nieuwe software Chatbase. Na de geruisloze tests sinds afgelopen voorjaar is de Google Analytics voor chatbots sinds kort officieel live. De oplossing werkt goed samen met onder andere Facebook Messenger, Slack, Allo, Skype, WhatsApp, WeChat, Cortana en Alexa.

Met name omdat de inhoud van een gesprek per situatie verschilt, zullen analisten zich richten op andere data dan bij de analyse van websites. Welke vragen zijn er gesteld?; hoe vaak komen bepaalde vragen of handelingen voor?; en welke vragen zijn voor het achterliggende algoritme moeilijk te verwerken? Google denkt zelf dat makers gebaat zijn bij het vinden van de missers, synoniemen die niet worden herkend of acties die nog niet worden ondersteund.

Afbeelding: voorbeeld dashboard

Vinden van veelgebruikte paden

Eenmaal opgenomen in de bot beschikt de analist over drie soorten datarapportages – in uiterlijk redelijk vergelijkbaar met Google Analytics of Data Studio. Het dashboard toont bijvoorbeeld de groei van het aantal actieve gebruikers en trendgrafieken per maand, week of dag.

Het rapport Sessions biedt inzicht in de dagelijkse sessies, sessies per gebruiker en berichten per sessie. Het doel ervan is om de gebruiker meer inzicht te geven in de betrokkenheid. Het rapport Messages laat zien welke (automatisch samengestelde) antwoorden om verbetering vragen. Dit doet de software door de antwoorden in te delen in twee kolommen: de afgehandelde berichten waarop de bot actie heeft ondernomen en de tekst- of spraakberichten waar het niets mee kon. Met statistieken wordt verder aangetoond hoe lang het gemiddeld duurt voor een gebruiker antwoord krijgt en dus bij zijn einddoel is.

Een derde en laatste Transcripts rapport laat vrijwel hetzelfde zien, maar filtert met behulp van machine learning de veel voorkomende vragen of termen en wijst de analist op verbetermogelijkheden.

Net zoals analyseprogramma’s voor webpagina’s dat doen, is de automatisch samengestelde datavisualisatie een bruikbare toevoeging. Dit laat analisten zien welk pad botgebruikers als het ware hebben bewandeld. Een ‘funnel rapport’ zoals in onderstaande weergave toont de stappen en het succespercentage.

“Basaal, maar met potentie”

Digitaal bureau E-sites lanceerde vorige maand een voor Paaspop ontwikkelde chatbot en heeft Chatbase daarin geïntegreerd. Samet Yilmaz van E-sites Labs vindt Googles oplossing nog basaal, maar ziet gezien de laatste ontwikkelingen wel de potentie ervan. “Met name het feit dat we verschillende kanalen kunnen samenbrengen in één analyticsomgeving en dat er te zien is wat een gebruiker zegt bij een bepaalde intentie is erg fijn. De laatste toevoeging waardoor we op basis van een sample de transcripts per sessie kunnen zien, maakt ook goed duidelijk wat de bot niet heeft begrepen.”

Afbeelding: vragen die intentie inzichtelijk maken

Hoewel het aantal functies dus nog niet erg groot is, leidt dat volgens Yilmaz niet tot problemen. Dat komt vooral doordat hij zich per project op andere metrics moet richten. Een chatbot maken is al lang niet zo moeilijk meer, vertelt hij. Er zijn immers genoeg tools waarmee een geautomatiseerd gesprek in elkaar is te klikken. De uitdaging zit juist in het creëren van een natuurlijke dialoog en bijhouden van de juiste analyses. “Pas als je inzichtelijk hebt welke delen van de natuurlijke conversaties werken en welke niet kun je een chatbot maken die zowel voor de gebruiker als de organisatie waarde toevoegt.”

In het geval van Paaspop wordt er bijvoorbeeld bijgehouden hoeveel bezoekers een kaartje hebben voor het festival, hoeveel er de camping bezoeken en welke artiesten ze leuk vinden. De dialoogstructuur is zo opgebouwd dat er wordt bijgehouden welk deel van het gesprek al is doorlopen en welke vervolgvraag dan passend is. Een oudere versie van Paaspops bot, zoals weergegeven in onderstaande afbeelding, vroeg bijvoorbeeld naar iemands favoriete muziek. Dat bleek een lastige vraag en is in iteraties verfijnd.

Net als de chatbots zelf zijn de analysetools relatief nieuw. De verwachting is dan ook dat Google en anderen hun software nog uitbreiden. Yilmaz hoopt bijvoorbeeld dat de mogelijkheden om de dialoogstructuur vast te leggen worden toegevoegd. Als daarnaast de eigen metrics, zoals of gebruikers een kaartje hebben, zijn op te nemen wordt het makkelijker om vast te stellen hoe gesprekken daadwerkelijk verlopen. “Zo krijg je één dashboard voor al je KPI’s.”

Behalve Chatbase zijn er nog diverse andere oplossingen op de markt. Conversational platformen zoals Chatfuel en Dialogflow bieden bijvoorbeeld een groot deel van de basisfuncties. Daarnaast zijn er ook nog diensten als Yandex Metrica, botanalytics.co, en dashbot.io.