A/B testing: vier valkuilen om te vermijden

A/B testing is een essentiële toevoeging aan de onlinemarketingmix en een absolute must om online succesvol te zijn. Deze onderzoeksmethodiek heeft zich inmiddels ruimschoots bewezen en het web staat vol met artikelen over wat A/B testing is, hoe je moet beginnen, welke tools je kunt gebruiken en tal van succesvolle cases. Toch is dit geen garantie voor succes en moet je waken voor een aantal veel voorkomende valkuilen. Haal meer rendement uit testing door vier veel voorkomende valkuilen te vermijden.

1. Testen van verkeerde dingen
Wat ga je als eerste testen? Er zijn duizenden elementen en combinaties van elementen die je kunt testen waardoor de kans toeneemt dat je verzandt in de keuzemogelijkheden en uiteindelijk niet effectief te werk gaat. Het streven is keuzes te maken die gebaseerd zijn op een afweging tussen de verwachte impact en de effort (tijd, geld en capaciteit) die het kost om de test te realiseren. Om die reden is het cruciaal om vooraf een testplan op te stellen. In een testplan stel je vast:

• wat (hypothese), waarom (aanleiding) en hoe (testinrichting) je gaat testen
• welke KPI’s je hanteert om de mate van succes van de test te bepalen
• de verwachte looptijd van de test.

Door deze zaken van te voren vast te leggen en te toetsen op basis van een impact-effortanalyse, kun je een weloverwogen beslissing nemen en waarborgen dat je effectief test.

Op basis van deze impact-effortanalyse kun je bijvoorbeeld achterhalen dat het efficiënter is om van achter (waar de koopintentie het grootst is) naar voren te testen. Dat wil zeggen: van de laatste pagina in de salesfunnel naar de winkelmand en van de productdetailpagina naar de homepage.

2. De test niet grondig controleren
A/B testing is een geweldige manier om een conversieverbetering te realiseren, maar er zijn ook risico’s die nare gevolgen kunnen hebben. Voor en na lancering van de test is het van groot belang om je varianten grondig te controleren op bugs. Een bug in je test kan leiden tot:

• vervuilde data waardoor je de testresultaten niet kunt gebruiken
• de onmogelijkheid voor bezoekers om de gewenste actie te ondernemen.

Naast verspilde tijd, kan dit je dus waardevolle leads of omzet kosten. Dit kun je vermijden door:

• een cross-browser check uit te voeren, waarin je de test controleert in de meest populaire browsers en browsersversies. Vergeet niet om ook mobiele browsers te testen.
• Statistieken te vergelijken van je testing software en je webstatistiekenpakket. Door zelf meerdere bezoeken en conversies uit te voeren, kun je de data vergelijken in beide pakketten en controleren of deze overeenkomen.
• De testresultaten zorgvuldig te monitoren; wees alert op fluctuaties en patronen. Op deze manier kun je ad hoc ingrijpen wanneer dat nodig is.

3. De verkeerde conclusies trekken
Het analyseren en interpreteren van het testresultaat is onmisbaar in de cyclus van A/B testing. Je begint hiermee als er voldoende data is verzameld om gegronde conclusies te kunnen trekken, en er een eventuele winnende variant is aan te wijzen (de meeste testing tools doen dit automatisch door middel van een ingebouwde significantiecalculator).

Toch zien we dat er nog regelmatig verkeerde conclusies getrokken worden en daardoor verkeerde beslissingen gemaakt worden. Dit komt bijvoorbeeld door:

1. De test te snel te stoppen. De eerder genoemde automatische significantiecalculator is een handig hulpmiddel, maar kan ook een vloek zijn. Met name bij een relatief korte looptijd en een kleine hoeveelheid data is het gemeten effect zwaar onderhevig aan de dagelijkse prestaties. In de basis geldt: hoe meer data, des te zekerder is het gemeten effect. Tip: houd minimaal 100 conversies per variant aan en een looptijd van veertien dagen.
2. Het testresultaat niet te segmenteren. Door het testresultaat niet te segmenteren, krijg je alleen een beeld van het ‘grote plaatje’ waardoor je essentiële individuele verschillen over het hoofd ziet. Zo kan het gemeten effect bijvoorbeeld afhankelijk zijn van het type bezoeker, waardoor terugkerende bezoekers significant beter zijn gaan converteren en je voor nieuwe bezoekers precies het tegenovergestelde ziet. Tip: koppel je testing tool aan je analytics tool, zodat je gebruik kunt maken van de segmentatiemogelijkheden om de individuele verschillen te onderzoeken. Bekijk tevens of het gemeten effect afhankelijk is van bepaalde omstandigheden, zoals onder andere een verkeersbron, browser, nieuwe of terugkerende bezoekers.

4. Te veel focus op alléén conversieverbetering
De conclusie die je kunt trekken op basis van de resultaten zal uiteindelijk leiden tot de keuze om de variant wel of niet te implementeren, een vervolgtest uit te voeren of een geheel nieuwe richting in te slaan. Ongeacht het resultaat van de test en het vervolg, is het belangrijk om van je testen te leren. Te veel onlinemarketeers zijn vooral gefocust op conversieverbetering. Hierdoor zie je essentiële zaken over het hoofd en haal je niet het maximale rendement uit je testing inspanningen.

Zie een test waarin geen conversieverbetering is gerealiseerd, niet als een mislukking, maar achterhaal waarom de hypothese niet bevestigd kon worden. Op deze manier kom je meer te weten over je bezoekers en dat is zeer waardevol. Daarnaast kan je A/B testing bijvoorbeeld ook gebruiken om aan te tonen dat iets niet werkt.

Tot slot
Op basis van jarenlange ervaring met A/B testing, zijn nog meer valkuilen te benoemen die je in de praktijk tegenkomt. Bovenstaande vier valkuilen zijn echter de meest voorkomende fouten die je vanaf nu kunt vermijden om meer rendement uit je testing inspanningen te halen.

* Dit artikel is mede geschreven door Danny de Vries, Conversion Rate Optimization Consultant bij Traffic4u