CRO: de 5 belangrijkste lessen van Conversion Hotel

Wat zijn de laatste lessen op het gebied van A/B-testen, conversieoptimalisatie en webanalyse? Onder meer Ronny Kohavi van Microsoft en Els Aerts van AG Consult deelden hun ervaringen tijdens Conversion Hotel. Dit zijn de vijf belangrijkste bevindingen.

1 Zorg voor een goed CRO-proces

Heb je ook wel eens het idee dat er zoveel factoren meespelen bij conversieoptimalisatie dat je het overzicht kwijtraakt? Dan is het tijd om een goed CRO-proces op te zetten, aldus Matthew Roach van Sanoma. Hoewel hij relatief nieuw is in de CRO-wereld, zette hij zelf een compleet nieuw proces op. Dit proces is gebaseerd op Eisenberg’s Hierarchy of Conversions en het Research XL framework van Conversion XL.

Bron: Presentatie 5 stappen proces van Matthew Roach

Deze piramide werkt van beneden naar boven. Je start dus met de Product Customer Fit, waarbij je je afvraagt of je product of website echt aansluit bij de behoefte van de bezoeker. Vanuit daar werk je verder naar Data & Analytics: meet je je KPI’s goed door en is je dataset betrouwbaar? Bij Functional en Usable & Intuitive kijk je vooral naar de technische werking en de usability van je website. Pas in de laatste laag ga je kijken naar psychische of motiverende factoren op je website, in de fase Persuasive.

Zo’n proces helpt je niet alleen om alles te onthouden, het zorgt er vooral voor dat je je werkzaamheden goed kunt prioriteren. A/B-testen is leuk, maar focust zich bijvoorbeeld vooral op de bovenste laag van de piramide. Is het dan niet slimmer om de onderste lagen eerst onder de loep te nemen en dit te optimaliseren? Daarnaast kun je de fases ook nog eens gebruiken om je budgettering in kaart te brengen. Wanneer je per fase in kaart brengt welke tools en uren je nodig hebt, kun je dit heel goed verantwoorden richting het management.

2 Kijk (nog) kritischer naar de validiteit van je A/B-tests

Als je dacht dat jij veel van statistiek afwist, luister dan eens naar Ronny Kohavi van Microsoft. Hij vertelt je hoe Microsoft een eigen experimentenplatform heeft opgezet, waarin rekening wordt gehouden honderden metrics. Hij en Michelle Kiss van Analytics Demystified wezen de bezoekers allebei op een aantal veelvoorkomende fouten waar het gaat om de statistieken van je A/B-tests.

• Draai regelmatig A/A-testen. Hierin test je dus twee precies dezelfde varianten tegen elkaar, puur om te achterhalen of jouw testprogramma het bezoek wel goed toewijst of dat er andere problemen met de data analyse ontstaan. Wanneer je in een A/A-test dus een significant verschil ziet, weet je dat je een probleem hebt.
• Check je sample ratio. Wanneer jij een A/B-test instelt op 50/50, dan moeten die percentages in je uiteindelijke test ook exact terugkomen. Dus wanneer je op 49% en 51% uitkomt, dan is de kans groot dat er een fout in je test is geslopen, bijvoorbeeld doordat een van je varianten veel spam verkeer heeft gekregen. In dat geval is het verstandig om een zogenaamde SRM-test te doen.
• Een P-waarde van 5% is te ruim wanneer de kans van slagen laag is. Industrie breed is het heel gebruikelijk dat slechts 30% van je A/B-testen slaagt. Is jouw platform al goed geoptimaliseerd, dan is die kans waarschijnlijk nog lager. Stel dat van alle voorgaande A/B-testen slechts 20% slaagde, dan is een P-waarde van 5% wel erg ruim: je foutmarge wordt behoorlijk wanneer de kans dat je geen gelijk hebt al 80% is, en je daar bovenop nog eens 5% toeval accepteert. Je kunt dan beter een test twee keer draaien op 5%, en deze data combineren voor een uiteindelijk lagere P-waarde met behulp van de Fisher’s method.
• Pas op voor Simpson’s paradox wanneer je je traffic distributie voor je variant tijdens de test omhoog schroeft. Doordat de weging van je resultaten tijdens de test verandert (bijvoorbeeld van 90/10 naar 50/50) kan het zo zijn dat je test twee keer beter lijkt te presteren, maar dat de control het overall in werkelijkheid beter doet.

Bron: Seven Pitfalls to Avoid when Running Controlled Experiments on the Web

3. Draagvlak creëer je niet met nog meer cijfers en jargon

Wij zeggen wel vaker tegen onze klanten dat CRO geen money machine of magic trick is. Ook de sprekers op Conversion Hotel benadrukken allemaal dat het een lange-termijn proces is met over het algemeen kleine verbeteringen. Hoe zorg je dan voor intern draagvlak wanneer je management van elke A/B-test een 10% uplift verwacht?

Volgens Manuel Da Costa doe je dat in ieder geval niet met nog meer cijfers, tabellen en jargon. Gelukkig gaf hij tips voor hoe je een aantal uitdagingen het beste aan kunt gaan.

Is er weinig tijd en budget om ideeën uit te voeren? Zorg dan dat je een scherpe prioritering in je experimenten aanbrengt, bijvoorbeeld met behulp van de PXL-methode. Zo maak je duidelijk inzichtelijk wat het belang van elke test is. Een andere optie is natuurlijk om je te verdiepen in Javascript en (een deel van) je testen zelf in te richten.

Is niemand in de organisatie op de hoogte van wat jouw CRO-team doet? Zorg dan voor zichtbaarheid, bijvoorbeeld door een dashboard op te zetten. Of organiseer eens een ‘lunch and learn’ sessie, waarin je user recordings toont van bezoekers die vastlopen op je website. En praat niet tegen mensen, praat mét ze.

Verwacht jouw management keer op keer geweldige resultaten uit elke test? Maak dan ten eerste duidelijk dat de meeste blogs over overweldigende resultaten vaak onzin zijn. Ten tweede doe je er goed aan om het concept ‘falen’ te herdefiniëren. Elke test waaruit je iets kunt leren, is een succes. Ook wanneer blijkt dat de control het beter deed dan je test variant.

4. User testing: Luister niet naar je doelgroep

User testing gaat hand in hand met CRO. Wij geloven dat user testing heel erg waardevol is als je het op de juiste manier uitvoert. Els Aerts, koningin van de user research, bevestigt dat user testing niet gaat over het uitvragen wat mensen denken of voelen bij een bepaalde opdracht. Het gaat juist om de observaties die je doet tijdens je onderzoek.

Er zijn drie verschillende manieren van testen:

• Persoonlijke user testing. Dit houdt in dat een moderator interactie heeft met 1 gebruiker. De interessante inzichten krijg je boven water door het gedrag te observeren.
• Guerilla user testing: Kijk naar de doelgroep. Hoe voeren zij de opdracht uit? Gaat het ze makkelijk of niet?
• User testing op afstand. Vanaf je computer kun je met het gebruik van een webcam een gebruiker observeren. Daarbij zijn de gezichtsexpressies erg belangrijk.

Els Aerts geeft verschillende tips hoe je het beste een user test kunt uitvoeren. Het is vooral belangrijk dat je geen bekenden vraagt, zij zijn het minst bevoordeeld. Geef daarbij niet een specifieke opdracht, maar vertel een verhaal. Hierbij vertoont een gebruiker veel natuurlijker gedrag. Vraag ook naar de voorkeur van device van een gebruiker. Het allerbelangrijkste is de moderator. Als een moderator niet goed werk kan verrichten dan zal de user test ook niet succesvol slagen. Een succesvolle moderator is neutraal, zorgt ervoor dat gebruiker het kan volgen en stelt ze op hun gemak.

5. Twee type systemen in menselijk gedrag

Als CRO-specialist is het allerbelangrijkste om kansen te spotten op basis van data. Daar geloven wij absoluut in, maar de “waarom vraag” beantwoorden we vaak niet met data. In de sessie consumer psychologie van Online Dialogue doken we in de psychologische kant van het menselijk gedrag op websites.

Ieder mens heeft twee type systemen waar vanuit men acteert: Systeem 1 en Systeem 2.

Systeem 1

• Onderbewustzijn
• Is altijd aanwezig, ook al heb je dat zelf niet bewust door
• Is associatief

Systeem 2

• Rationale systeem
• Is vooral actief als een belangrijke beslissing genomen moet worden
• Ook wanneer je de beslissing moet verantwoorden
• Is vooral actief als je al ergens van op de hoogte bent.

Het belangrijkste om in je achterhoofd te houden is dat Systeem 2 focus nodig heeft. Dat kun je toepassen op stappen/ pagina’s op je website. Dus geen afleiding creëren als je focus nodig hebt.

(mmv Marjolein Schipper)