A/B testen in het hoogseizoen, doen of niet doen?

Vaak gehoord: in het hoogseizoen voeren wij geen A/B testen uit. De reden is dan meestal om zoveel mogelijk risico te vermijden. Het kan namelijk altijd zo zijn dat de variant slechter presteert dan het origineel en in het hoogseizoen kunnen de kosten dan al snel oplopen.

Daarnaast loop je bij het uitvoeren van een experiment altijd risico op het introduceren van een bug op de website. Dit is iets dat je natuurlijk wil vermijden, zeker in het hoogseizoen. Maar is het dan de juiste keuze om je hele CRO traject stil te leggen, of zijn er ook andere opties? Om tóch door te kunnen blijven optimaliseren in het hoogseizoen, kun je kiezen voor Multi-Armed Bandit Testing. 

Multi-Armed Bandit Testing

De naam is gebaseerd op de ouderwetse gokmachines in casino’s met een enkele hendel. Stel, er staat een hele rij gokmachines en je wil jouw opbrengst van die avond maximaliseren. Dan moet je dus de gokmachine selecteren die de hoogste uitbetaling garandeert, maar je weet natuurlijk niet welke dat is. Dan zou je de verschillende machines moeten uitproberen, maar je wil tegelijkertijd de meest uitbetalende gokmachine exploiteren.

Multi-Armed Bandit Testing maakt gebruik van een geautomatiseerde vorm van verdeling van traffic tussen het origineel en de variant(en). Er zijn verschillende vormen waarin een Multi-Armed Bandit Test gedraaid kan worden. Eén van de meest gebruikte binnen CRO is de vorm waarin een x percentage (bijvoorbeeld 10%) ‘ouderwets’ wordt verdeeld tussen alle varianten en de rest van het verkeer gaat naar de best presterende variant. Deze vorm wordt ook wel Epsilon-Greedy genoemd. 

Het financieel risico dat een bedrijf hiermee loopt wordt geminimaliseerd en het optimalisatie team kan hierdoor gewoon door blijven gaan met waar het goed in is tijdens het hoogseizoen. 

Exploratie vs Exploitatie

Klinkt natuurlijk goed, maar waarom zou je dan niet alle experimenten op deze manier blijven uitvoeren? Hiervoor moeten we goed kijken naar het doel van het experiment.

Bij een traditionele A/B test is het doel exploratie, het achterhalen van welke hypothese bevestigd kan worden en dus uiteindelijk welke variant het beste presteert. Het liefst natuurlijk met een bepaald niveau van significantie, met genoeg data zodat je de prestaties van alle varianten kunt analyseren om zwakke en sterke punten te vinden. 

Bij Multi-Armed Bandit Testing is het doel echter exploitatie, door zo weinig mogelijk middelen te verspillen aan een inferieure variant. Dit is een zeer belangrijke nuance. Het duurt op deze manier veel langer om statistische significantie te bereiken, waardoor je uiteindelijk een lager aantal aan experimenten kunt uitvoeren op jaarbasis. De winst van het traject gaat uiteindelijk wel zitten in de winnaars die geïmplementeerd worden (maar pas op met de doorrekening van je winst), dus vandaar dat er in de meeste situaties wordt gekozen voor een reguliere A/B test. Daarnaast ondersteunen niet alle A/B testing tools deze methode, waardoor het ook technisch lastig kan worden om dit alsnog mogelijk te maken. Als je financieel risico wilt beperken maar toch door wilt testen in het hoogseizoen, dan is Multi-Armed Bandit Testing een hele mooie oplossing.      

Kijk naar het grotere plaatje

Mocht er nu geen mogelijkheid zijn tot de implementatie van een Multi-Armed Bandit Test of is er meer behoefte aan exploratie, dan is het raadzaam om niet te veel vanuit angst beslissingen te nemen. Kijk eens naar het grotere plaatje! Een CRO traject zal – over het hele jaar bezien – altijd winnaars en verliezers opleveren. Over het geheel gezien zal de balans echter positief uitslaan (mits er genoeg winnaars worden gevonden en deze ook daadwerkelijk worden geïmplementeerd). Eén verliezer zal deze balans als het goed is niet naar de negatieve kant doen omslaan. Heb dan ook vertrouwen in het optimalisatie team, het hoogseizoen is immers een uitgelezen kans om in versneld tempo te experimenteren. 

Om wederom het risico te minimaliseren is het wel verstandig om geen enorm (technisch) complexe testen te gaan draaien, een bug op de website is in deze periode een absolute no go. Dit is hét moment om het Quality Assurance proces twee keer door te lopen, om er zeker van te zijn dat er geen foutjes in zijn geslopen. 

Andere aspecten uit het conversietraject

Is er nu echt geen enkele mogelijkheid tot het uitvoeren van experimenten in het hoogseizoen? Verleg dan eens de focus naar andere aspecten uit het conversietraject, zoals online of offline gebruikersonderzoek, een hernieuwde deep dive in Google Analytics of een uitgebreide competitieve analyse. Dit is dan namelijk het moment om de backlog uit te breiden met goed onderbouwde hypotheses en je concurrentie in de gaten te houden. 

Blijf experimenteren

Het advies is om altijd te blijven experimenteren om alle potentie uit conversie optimalisatie te halen. Door in te zetten op winstmaximalisatie door middel van Multi-Armed Bandit Testing kan financieel risico beperkt blijven. Anderzijds zijn reguliere A/B testen ook zeker een optie. Probeer wel om de complexiteit laag te houden om de kans op bugs te minimaliseren. Op het moment dat dit echt niet kan, verleg dan de focus naar online of offline gebruikersonderzoek. Zo kan je jouw backlog weer aanvullen met mooie hypotheses die je kan valideren na het hoogseizoen. 

Over de auteur: Marlies Lammers-Berben is head of conversion optimization (CRO) & analytics bij Yonego.