Pre-post-analyse in website-optimalisatie: Weet wat je meet

Als je een verandering aan een website hebt doorgevoerd is het verstandig om te toetsen of dit wel voor het gewenste effect heeft gezorgd. Een betrouwbare methode hiervoor is bijvoorbeeld een A/B-test. In sommige gevallen is dat echter niet mogelijk of raadzaam. Een van de alternatieven is dan het uitvoeren van een pre-post analyse. Daarbij vergelijk je de prestatie van de webshop voor en na de optimalisatieslag. Hier is wel een aantal risico’s aan verbonden. Dit artikel geeft richting aan hoe met deze risico’s om te gaan.

Wat is een pre-post analyse?

We horen regelmatig verhalen van marketeers die trots vertellen dat ze een site-onderdeel geoptimaliseerd hebben en vervolgens een succesvolle test hebben uitgevoerd: ze zien dat de conversie in een periode van vier weken na de aanpassing hoger is dan in de vier weken voor de aanpassing en concluderen daaruit dat de optimalisatie een succes was. Een (te) vaak voorkomende valkuil, omdat in de meeste gevallen geen rekening wordt gehouden met externe factoren die de gegevens kunnen beïnvloeden.

Bij een pre-post analyse op kwantitatieve of zelfs kwalitatieve data wordt dus niks anders gedaan dan de condities beschrijven voor en na een specifieke verandering. De periode voor de verandering wordt als basis gezien en deze wordt vergeleken met de periode na de verandering.

Risico’s van een pre-post analyse

Wanneer een pre-postanalyse wordt gebruikt om het effect van een optimalisatie te testen, wordt er vaak van uitgegaan dat de basiswaarden altijd onveranderd blijven, dus ook in de periode na de verandering. Het probleem hierbij is dat deze methode geen andere factoren uitsluit die de waarden kunnen beïnvloeden, zoals bijvoorbeeld de koopcyclus, marketing campagnes van concurrenten of seizoensinvloeden.

Als er bijvoorbeeld een stijging of daling in conversie plaatsvindt, weet je nooit zeker of het ook daadwerkelijk veroorzaakt werd door de optimalisatieslag. Zo kan het dus zijn dat de conversie na de aanpassing hoger is, terwijl de aanpassing op zich een negatief effect heeft. En andersom kan het ook zijn dat de conversie na de aanpassing lager is terwijl de aanpassing een positief effect heeft.

Andere meetmethoden kunnen dit probleem voorkomen; bij A/B-tests is er bijvoorbeeld een controle groep die in dezelfde periode en onder dezelfde omstandigheden een andere variant te zien krijgt dan de testgroep. Maar dat wil niet zeggen dat je daarom pre-post analyses helemaal moet schrappen.

Een pre-post analyse is bij marketeers vooral geliefd omdat het makkelijk en snel uitvoerbaar is. Daarbij is het echter belangrijk om rekening te houden met een aantal basis principes om de betrouwbaarheid en validiteit van deze methode te verhogen.

Wanneer wel en wanneer geen pre-post analyse?

Pre-post analyses kunnen voor verschillende doelen worden ingezet:

• Om trends te signaleren;
• Voor vergelijkingen met perioden in het verleden;
• Als aanvulling op andere meetmethoden;
• Als onderdeel van een meetplan;
• Voor low-cost en/of low-risk analyses;
• Als uitgangspunt voor diepgaandere analyses.

Het is niet raadzaam om pre-post analyses in te zetten om er high-cost en/of high-risk beslissingen op te baseren. Daarnaast is een pre-post analyse niet als geïsoleerde testmethode geschikt als er sprake is van oncontroleerbare externe invloeden. 

Tips en trucs

Los van de testmethode die je kiest geldt altijd: door van tevoren een testplan op te stellen kan je een weloverwogen beslissing nemen en waarborgen dat je door middel van de juiste methode effectief test. Indien je kiest voor een pre-post analyse is het belangrijk om de validiteit en betrouwbaarheid zo veel mogelijk te verhogen. Daarvoor zijn volgende factoren belangrijk:

1. Weet wat er is veranderd:
   • De optimalisatie waarvan je het effect wil weten
   • Interne veranderingen in de tussentijd, die je niet hebt kunnen of willen tegenhouden. Denk aan specifieke acties en campagnes of verstuurde nieuwsbrieven
   • Externe veranderingen in de markt en in de wereld, waar je geen enkele invloed op hebt: het seizoen, het nieuws, het weer en noem maar op.
2. Sluit zo veel mogelijk externe invloeden uit door vergelijkbare perioden te kiezen. Denk hierbij aan een periode waarin soortgelijke campagnes zijn uitgevoerd.
3. Richt je op de juiste KPI’s. Niet alleen KPI’s die direct te maken hebben met je doelstelling, maar vooral KPI’s waar de verandering logischerwijs een (in-)directe invloed op kan uitoefenen.
4. Kijk of je terugkerende patronen kan ontdekken.
5. Zorg voor een goed onderbouwde hypothese: Wat is je verwachting en waarom is dat je verwachting?
6. Zoek een logische verklaring voor het resultaat, gebaseerd op je hypothese.

Conclusie

Het is beter om door middel van een pre-post analyse te testen dan helemaal niet te testen. Maar weet altijd wat je meet en wees je bewust van de zwakten die een pre-post analyse heeft. Pas dan kan je deze methode effectief voor verschillende doelen inzetten.

Dit artikel is geschreven in samenwerking met Inge Rikkers – Pluijlaar.