Acht manieren om het succes van je chatbot te meten

Chatbots, bedrijven als KLM, Univé, Mediamarkt en Booking.com maken er inmiddels al gebruik van. Andere merken en organisaties houden de ontwikkelingen nauwlettend in de gaten. Ondanks een groeiend aantal organisaties dat er gebruik van maakt worstelen marketeers met de wijze waarop het succes van chatbots gerapporteerd kan worden.

De ontwikkeling van chatbots

In de Verenigde Staten en Azië was het al langer gemeengoed. Chatbots die consumenten kunnen helpen in hun zoektocht naar het antwoord op een prangende vraag of dat ene product. Conversational commerce in optima forma. Chatsbots dus. Stukjes software die gebruikmaken van de interface van chatapps en zich automatisch ontwikkelen aan de hand van machine learning. Het gebruik is nu ook in Nederland in een stroomversnelling gekomen doordat Facebook Messenger en Slack zijn opengesteld voor bedrijven. Eerder was dat al mogelijk voor de in Nederland minder populaire chatapplicaties WeChat, Telegram en Kik.

Natuurlijk zijn er ook uitdagingen. Volautomatisch is in een tijdperk waar consumenten graag persoonlijk contact en relevantie willen niet altijd even optimaal. Er zijn dan ook steeds vaker initiatieven die een ‘domme’ chatbot combineren met menselijke interventies. Naast machine learning speelt ook Natural Language Processing (NLP) hierin een belangrijke rol. De bot leert namelijk van deze menselijke interventies leren en ontwikkelt zichzelf daarmee steeds verder. Het gebruik van chatbots is dus niet meer te stoppen. Het wordt een volgend contactmoment dat marketeers moeten gaan optimaliseren voor het maximale effect. Dan moet echter wel duidelijk zijn wanneer een chatbot een succes is.

Wanneer is een chatbot een succes?

Marketeers zijn de afgelopen jaren behoorlijk verwend geraakt. Naast bereik en engagement worden ook zaken als klanttevredenheid en incrementele omzet ten opzichte van controlegroepen gerapporteerd. De volledige (sales)funnel kan worden gemonitord, waar nodig verder worden geoptimaliseerd en gerapporteerd worden op de ROI.

Op het gebied van messaging apps en in het bijzonder chatbots zijn er nog geen standaard metrics beschikbaar. Voldoende discussie dus. Voor AdvertisingAge aanleiding om hier dieper op in te duiken en marketeers die starten met chatbots een voorzet te doen van acht mogelijke meetpunten voor chatbots.

Reach (bereik): Elke marketeer zal willen weten hoeveel mensen hun chatbot gebruiken, uniek en in absolute aantallen. Zonder verdere context zijn dit eigenlijk nietszeggende getallen. Waar zet je het in eerste instantie tegen af? Naast een bereiksaantal biedt een extra verdieping in activiteit uitkomst. Eerder was er al Canadese chatapplicatie Kik die met definities van actieve gebruikers is gekomen. Om de ontwikkeling in gebruik (en daarmee de voortgang) te monitoren is het daarnaast aan te raden om het aantal actieve gebruikers per week, per maand en per jaar te rapporteren.

Definitie van een sessie & gemiddelde sessietijd (bereik & engagement): Wanneer is er sprake van een chatsessie? Is een vraag en antwoord al voldoende? Of telt een wekelijkse push notificatie met daarin de laatste aanbiedingen ook als een sessie? Zelfs wanneer hier geen reactie van de ontvanger op volgt? Telt iemand die na het stellen van een vraag een uur later terugkomt als een of twee sessies? Vooraf zal dit duidelijk moeten worden gedefinieerd. De definities zullen afhankelijk zijn van de branche, net zoals er wisselende doelstellingen kunnen zijn. Rapporteer vervolgens op het aantal sessies en gemiddelde sessietijd.

Aantal sessies per gebruiker (engagement): Nog een lastige. Is een lage of juist een hoge frequentie goed? Het ligt volledig aan het type bot en de service die je aanbiedt. In het geval van customer service hoop je bijvoorbeeld dat een bot een consument zo snel en optimaal mogelijk binnen een sessie kan helpen. Wanneer die consument vervolgens nog meerdere nieuwe sessies moet starten om het problemen op te lossen is dat niet wenselijk.

Aantal interacties per gebruikers (engagement). In het verlengde van het aantal sessies per gebruiker is het ook interessant om te kijken naar het aantal interacties binnen een sessie. Elke vraag-antwoord moet iemand dichter bij zijn doel (oplossen van een behoefte of vraag) brengen. Het kan zijn dat een chatbot intuitief via een aantal omwegen uiteindelijk het doel bereikt. Machine learning is dus ontzettend belangrijk om het aantal interacties naar beneden te brengen.

Confusion triggers (engagement). Iedereen die wel eens met een chatbot te maken heeft gekregen zal weleens een reactie hebben gekregen dat er geen oplossing voor handen is. Reacties als ‘ik weet het niet’ of ‘ik kan je niet helpen’ moeten worden gemonitord. Marketeers moeten leren van deze losse eindjes en waar noodzakelijk deze in de toekomst wegnemen.

Click-through rate (engagement). Deze kennen we ook uit andere kanalen. In veel gevallen zullen chatbots consumenten verwijzen naar een specifieke pagina. De verhouding kliks / aangeboden kliks is een uitstekend instrument om te monitoren. Let wel alleen click-through rate is niet voldoende, aanvullende webanalyse naar aanleiding van die klik zal hierin moeten worden meegenomen.

Leadgeneratie (conversie). Een aanmelding voor de nieuwsbrief, het plannen van een afspraak, een dowload. Zo maar een aantal voorbeelden van mogelijkheden die een bot kan aanreiken om het de consument makkelijker te maken.

Sales (conversie). Chatbots zullen zich naast het verbeteren van de klanttevredenheid meer en meer gaan ontwikelen als een middel om iets te verkopen. Attributie zal daarbij in eerste instantie een uitdaging zijn maar was dit eerder ook niet het geval bij andere kanalen?

Om over na te denken

Acht meetpunten besproken waarop marketeers het eerste succes van een chatbot kunnen afmeten. Maar is dit allesomvattend? Er zijn nog een aantal elementen waar chatbots invloed op hebben die zich in veel gevallen moeilijker laten meten.

• Branding: Met een groeiend aantal consumenten dat gebruikmaakt van chatbots is het ook mogelijk om NPS en koopintentie te meten.
• Research: Weer een kanaal erbij, dat betekent ook meer data! Hoe gaan we om met deze data om onze bedrijfsvoering verder te optimaliseren?
• Content curation: Input van consumenten kan ook worden gebruikt voor toekomstige campagnes. Denk aan veelgestelde vragen.
• Opt-out: Net als bij andere kanalen zullen consumenten ook genoeg kunnen krijgen van chatbots. Wat zegt het marketeers wanneer een chatbot wordt geblokkeerd? Hielp het de consument niet in zijn of haar vraag? Of waren de wekelijkse berichten toch iets te commercieel van aard?
• Kannibalisatie: De opkomst van chatbots zal gevolgen hebben voor andere kanalen en services. Wordt de druk op het klantcontactcenter verlicht waarmee de kosten omlaag gaan? Gaan chatbots push marketing (push notificaties of e-mail) of juist pull marketing (search) deels vervangen?