Conversie-optimalisatie bij weinig bezoekers: enkele opties op een rij

Hoewel je voor statistisch significante A/B-testresultaten veel verkeer nodig hebt, is er ook van alles mogelijk met lage bezoekersaantallen. 

A/B-testen is nog altijd een belangrijk onderdeel van de conversie-optimalisatie. Uiteindelijk wil je weten of de hypotheses die je aan de hand van je vooronderzoek en analyse hebt opgesteld, valide zijn. Anders loop je immers het risico dat de veranderingen in de website de conversie uiteindelijk niet verhogen, maar juist verlagen. Voor statistisch significante testresultaten heb je echter wel voldoende bezoekers nodig. Bij de conversie-optimalisatie van een website of webpagina’s met weinig bezoekers zijn die niet altijd beschikbaar. In dat geval zul je op een andere manier moeten testen.

Hoeveel bezoekers heb je nodig?

Het aantal benodigde bezoekers verschilt per A/B-test. Dit is afhankelijk van het aantal bezoekers van de te testen webpagina(‘s), het percentage daarvan dat wordt opgenomen in de test, het aantal testvarianten, de bestaande en de gewenste conversieratio en de statistische significantie.

Een belangrijk gegeven is de maximale testduur. Veel marketeers testen net zolang totdat een A/B-test een winnende variant heeft opgeleverd, maar dat is niet verstandig. Bezoekers van de te testen webpagina(‘s) worden namelijk op basis van een cookie toebedeeld aan een controlevariant of aan (één van) de testvariant(en). Dit cookie zorgt ervoor dat zij, zolang de test loopt, dezelfde variant van de betreffende webpagina te zien krijgen als zij de website weer bezoeken. Zou dit cookie van hun pc verdwijnen dan kunnen zij toebedeeld worden aan een andere variant waarop zij ander gedrag vertonen, wat de testresultaten verwatert waardoor de uitkomsten van de A/B test onbetrouwbaar worden.

In de praktijk houden we rekening met een ‘cookie defection time’ van maximaal 30 dagen, en liefst nog korter. Na die tijd verliezen veel bezoekers hun cookies, al dan niet bewust. Dat betekent dus dat de A/B-test binnen maximaal dertig dagen een statistisch significant testresultaat moet kunnen opleveren. Maak je gebruik van een testduur calculator zoals deze van VWO of deze van Optimizely dan kun je uitrekenen of jouw beoogde test binnen deze dertig dagen een statistisch significant testresultaat kan opleveren. En hoeveel bezoekers daarvoor nodig zijn.

Blijkt uit deze calculatie dat er voldoende bezoekers voor de test zijn dan zit je goed. Zijn er onvoldoende bezoekers dan heb je drie opties: zorgen voor meer bezoekers, het wijzigen van de A/B-test of op een andere manier testen dan met een A/B-test.

Zorg voor meer bezoekers

Dit is de meest eenvoudige optie. Gebruik bijvoorbeeld advertising of emailmarketing om meer bezoekers naar de te testen webpagina’s te trekken. Let er hierbij wel op dat je geen bezoekers met een ‘bias’ trekt; bezoekers die niet representatief zijn voor de bezoekers die normaliter de betreffende webpagina’s bekijken. Dit kan gebeuren als je specifieke campagnes opzet die gericht zijn op (de inhoud van) de te testen pagina’s. Campagnes die je normaliter misschien niet voert.

Wijzig je A/B test

Is het niet mogelijk om voor meer bezoekers te zorgen, dan is het raadzaam te onderzoeken of de A/B-test anders is in te richten om toch voldoende bezoekers te kunnen testen en statistisch significante resultaten te kunnen genereren. Daarvoor zijn enkele mogelijkheden:

Test grotere bezoekerssegmenten

Bij veel A/B-testen wordt er gebruikgemaakt van specifieke bezoekerssegmenten. Zijn die te klein om de A/B-test statistisch significante testresultaten te laten genereren, vergroot die segmenten dan zonder dat deze te generiek of niet meer representatief worden.

Test grotere wijzigingen

De te verwachten conversieverbetering van dat ene zinnetje in een productbeschrijving is waarschijnlijk lager dan die van een aanpassing van een call-to-action button. Bij de laatste zal de test dus eerder een significante conversieverbetering meten dan bij de eerste. Voor deze herprioritering kun je deze A/B test frameworks hanteren.

Meet micro-conversies

Vrijwel iedere conversie bestaat uit meerdere stappen die een bezoeker doorloopt voordat diegene het doel (de macro-conversie) bereikt. Denk aan het aanvragen van een offerte of aan het bestelproces in een webshop waar bezoekers vanaf een productpagina de winkelwagen bezoeken en vanaf daar via de checkout op de bedankpagina aankomen. De laatste is de macro-conversie, maar de stappen daarvoor zijn micro-conversies. Heb je onvoldoende bezoekers om op basis van de macro-conversie te kunnen testen, test dan op basis van de micro-conversies. Het meten van micro-conversies als secundaire doelen binnen een A/B test is wat mij betreft altijd aan te raden.

Test op belangrijke pagina’s

Als het A/B-testen op de beoogde webpagina’s niet lukt dan is het beter om te testen op pagina’s die door meer bezoekers gezien worden. Denk aan landingspagina’s of de pagina’s in de checkout funnel.

Combineer vergelijkbare pagina’s in één A/B test

Als je wijzigingen op bijvoorbeeld een landingspagina, een productcategoriepagina of een productpagina wilt testen die hiervoor te weinig bezoekers genereert, voeg dan vergelijkbare pagina’s aan de A/B-test toe. Test dan niet één of enkele pagina’s maar zoveel mogelijk (of alle) pagina’s binnen dezelfde A/B-test.

Verlaag de statistische significantie van je A/B test

Veel A/B-testsystemen staan standaard ingesteld op een statistische significantie van 95-99 procent. Hoe lager de statistische significantie, hoe korter de test kan duren en hoe minder bezoekers er nodig zijn. Voor statistisch significante testresultaten vind ik zelf een statistische significantie van 95 procent (en liefst nog hoger) een vereiste, maar dat wil niet zeggen dat je met een lagere statistische significantie niet kunt testen. Dat is zoiets als zeggen “ik ben een perfectionist, als ik iets niet perfect kan doen dan doe ik het helemaal niet”.

Het is beter om met een statistische significantie van negentig procent of zelfs 85 procent te testen dan hypotheses en wijzigingen helemaal niet te testen en slechts te hopen dat die de conversie uiteindelijk verhogen. Houd echter wel rekening met de lagere statistische significantie bij de interpretatie van je testresultaten.

Test niet met A/B testen

Ook wanneer alle bovengenoemde opties niet mogelijk zijn, wil je nog steeds weten of de veranderingen die je in de website wil doorvoeren goed zijn voor de conversie. In dat geval is het advies om de stappen die je normaliter in het vooronderzoek voor je A/B-testen doet, nog grondiger uit te voeren. Zo word je nog zekerder van de hypotheses. Een grondigere data-analyse, uitgebreidere gebruikersonderzoeken, uitoveriger concurrentie-onderzoek en nog nauwkeuriger onderzoek van de eigen bronnen binnen sales of de klantenservice bieden dan als laatste houvast.