Vier tips voor een zuiverdere A/B-testpopulatie

A/B-testen en bezoekersaantallen zijn een uitdagend probleem. De aantallen zijn vaak namelijk maar net hoog genoeg om significante verschillen te vinden. Lees daarom hoe je met een zuiverdere vergelijking meer kans hebt om winnaars te vinden.

Pre-test

Bezoekers zijn eigenlijk steeds korte tijdsblokken online met je in gesprek. En bij een test bepaal jij dat de helft van de bezoekers opeens een ander gesprek krijgt dan ze eerder had. Dit zorgt bij grote wijzigingen in de B-variant er vaak voor dat in de eerste dagen de A-variant beter presteert. Dat is immers dezelfde ervaring als voorheen. Door je experiment alleen te starten voor bezoekers die één besliscyclus niet op je testpagina(‘s) zijn geweest, heb je echter al een zuiverdere vergelijking tussen A en B.

Voor wie test je?

Bezoekers moeten de kans, dan wel tijd hebben om zich te laten motiveren door de aanpassingen in jouw B-variant. Iedereen die erg snel de website verlaat, een andere taak heeft of bijvoorbeeld niet scrollt naar jouw wijziging, kan niet worden beïnvloed. Deze bezoekers zullen dan ook in de A- en de B-variant hetzelfde gedrag vertonen. En daarmee zorgen voor een kleiner verschil in de stijging van het absolute conversiepercentage in de beste variant. Door deze bezoekers eruit te filteren of analyse achteraf vind je sneller significante conversieverschillen.

Code in B én A

Om de B-variant te tonen aan bezoekers wordt er bij client side testing – veruit de meest voorkomende variant – een stuk extra code geschreven. Deze code wordt alleen ingeladen in de B-variant en kan zorgen voor een andere, langzamere laadtijdervaring en ook flickering of extra wachttijdeffecten. Dit werkt doorgaans negatief voor het conversiepercentage van B. Wat je wilt doen, is de code voor B meegeven aan de A-variant en uitvoeren op een zodanige manier dat de bezoeker nog steeds de A-ervaring heeft, maar met dezelfde laadtijd, flickering en wachttijdervaring als in de B variant.

Post -test

Je experiment is natuurlijk gestart voor de doorlooptijd van minimaal één besliscyclus. Hier hebben echter alleen de bezoekers profijt van die in het begin van het experiment hun beslistocht op jouw website zijn gestart. Bezoekers die later zijn gestart, hebben aan het einde van de test het probleem dat wanneer ze in B zaten, ze de echte beslissing uiteindelijk in A moeten maken (de test is immers voorbij). Zodra de test klaar is, wil je daarom geen nieuwe bezoekers meer toelaten. Maar bezoekers die in de test zaten nog minimaal één gemiddelde besliscyclus de tijd geven om hun beslissing helemaal af te ronden.

* Dit artikel verscheen eerder in het maartnummer van Emerce magazine (#164).