-

Herhalen van oude A/B testen de moeite waard?

Wat is het resultaat als dezelfde A/B-test wordt herhaald en wanneer loont het om een oude test te herhalen? De kernvraag die je jezelf hierbij kunt stellen luidt: Waarom verwacht je ditmaal andere resultaten dan de vorige keer dat de test werd uitgevoerd?

Wanneer kun je oude tests herhalen?
Door de vraag in de inleiding als uitgangspunt te nemen, voorkom je dat er tijd en energie wordt besteed aan het opnieuw uitvoeren van oude testen die naar alle waarschijnlijkheid dezelfde resultaten opleveren. Dit staat los van het feit dat het in een continu testproces verstandig kan zijn oude tests opnieuw te bekijken en de aannames te blijven valideren. In een aantal gevallen loont het een oude test opnieuw uit te voeren, terwijl dit in andere gevallen niet zo is. Bijvoorbeeld wanneer de omgeving sterk is veranderd.

Wanneer een test wel opnieuw uitvoeren?

  • Vorige test ging mis
  • Internet is veranderd
  • Organisatie is veranderd
  • Website is veranderd
  • Resultaten niet meer beschikbaar

Vorige test ging mis
Dit zal vermoedelijk de meest voorkomende reden zijn om een test opnieuw uit te voeren. Er kan hierbij bijvoorbeeld gedacht worden aan promoties die tijdens de test liepen en daarmee de resultaten hebben beïnvloed. Ook het stopzetten van varianten, het verkeerd ingericht hebben van doelen, onjuiste URL targeting of een abnormale mix van verkeersbronnen kunnen zorgen voor vertekende resultaten.

11586303026_7a9affabc7_z

Internet is veranderd
De variatie die werd getest had geen invloed op het aantal conversies of verlaagde deze zelfs. Het valt echter op dat steeds meer toonaangevende websites soortgelijke wijzigingen toch bij hun website doorvoeren. Mogelijk heb je simpelweg te ver voorgelopen op de rest van het internet of moeten je gebruikers wennen aan de aanpassing. Dit wordt ook wel user change aversion genoemd. Nu de menigte door veelvuldige blootstelling intussen gewend is aan het nieuwe systeem, kan dit mogelijk positieve resultaten hebben. Om dergelijke situaties in het vervolg te voorkomen dient er in de toekomst beter gekeken te worden naar de wensen, mogelijkheden en kennis van de doelgroep.

Organisatie is veranderd
Organisaties ontwikkelen zich voortdurend. Het kan zijn dat er sinds de vorige test een volledig ander productaanbod is of dat het bedrijf zijn producten in een andere prijscategorie op de markt heeft gezet. Een andere mogelijkheid is dat organisatie naar buiten komt met andere Unique Selling Points, of zelfs dat het zich richt op een andere markt of doelgroep. Bij al deze factoren moet men nagaan of er sprake is van een significante interactie met wat er getest werd: lagere of hogere prijzen zijn bijvoorbeeld op alle varianten in een test van toepassing.

Website is veranderd
De meeste organisaties veranderen eens in de paar jaar hun website. Zij laten deze dan in één keer radicaal aanpassen en doen dit al dan niet op basis van nieuwe standaarden of ontwikkelingen op het gebied van webdesign. Het gevolg hiervan is dat een test die eerder bepaalde resultaten opleverde nu ineens totaal verschillende resultaten op kan leveren. Denk hier bijvoorbeeld aan het klassieke test waarbij de kleur van de Call To Action-knop wordt aangepast. Deze CTA-kleur kan in het nieuwe ontwerp mogelijk wel (of juist niet) contrasteren met de rest van het design. Een goed advies met betrekking tot radicale redesigns wordt gegeven in het artikel ‘An Introduction to Evolutionary Site Redesign‘.

3rd-ugliest-website

Resultaten niet meer beschikbaar
Mogelijk is er overgestapt van A/B-testing tool of van de partij die de tests uitvoert. Wanneer er bij het verwerken van de test uit is gegaan van summiere conclusies, of van niet gedocumenteerde resultaten, dan kan het opnieuw uitvoeren van deze test waardevol zijn. Het opstellen van goede hypotheses is dus erg belangrijk en benadrukt tevens het belang van gestructureerde analyse en documentatie van de tests.

Wanneer een test niet opnieuw uitvoeren?

  • Test quota nog niet gehaald
  • Test gaf ongewenste resultaten
  • Resultaten niet significant
  • User interface wijzigingen
  • Voorganger heeft test gedaan

Test quota nog niet gehaald
Sommige organisaties stellen zogenaamde test quotas in. Dit is een bepaald aantal tests dat per week, per maand of per jaar uitgevoerd dient te worden. Hoewel ik een groot voorstander ben van alles testen dat los en vast zit, draagt een quota daar niet (per se) aan bij. In plaats van bijvoorbeeld oude tests opnieuw uit te voeren om een arbitraire testquota te halen, zou mijn advies zijn om deze energie te steken in nieuwe tests.

Test gaf ongewenste resultaten
Tests geven indien ze goed zijn opgezet nooit onjuiste resultaten, wel vaak ongewenste resultaten. Directeuren (ook wel HIPPO’s genoemd), managers, klanten, opdrachtgevers of conversie specialisten hoopten dan namelijk om wat voor reden dan ook op een ander resultaat dan er uit de test kwam. Wanneer geen van bovenstaande factoren aanwezig zijn, dan is er geen gegronde aanleiding om een dergelijk tests opnieuw uit te voeren.

hippo-101477_640

Resultaten niet significant
Dit kan een verscheidenheid aan oorzaken hebben. Een veelvoorkomende oorzaak van niet-significante resultaten is echter dat de doorlooptijd van de test te kort is. Mede door druk van opdrachtgevers en managers (maar soms ook door onwetendheid van de conversiespecialist) worden tests namelijk vaak voortijdig afgebroken. Naast de doorlooptijd kan ook simpelweg de afwezigheid van een groot genoeg verschil in gedrag tussen de varianten een reden zijn waarom er geen significante resultaten werden behaald. In het artikel ‘How Long to Run a Test‘ wordt dieper op voorgaande punten en gerelateerde kwesties ingegaan. Ook kan het verstandig zijn allereerst relevante micro conversies te optimaliseren, om zo het verkeer te vergroten dat de macro conversie zal gaan nemen.

User interface wijzigingen
Wijzigingen aan de gebruikersomgeving zijn (zeker wanneer geen van de andere criteria hierboven aanwezig zijn) waarschijnlijk geen goede reden om testen opnieuw uit te voeren. Dit gaat zeker op wanneer deze wijzigingen in lijn zijn met best practices.

Voorganger heeft test gedaan
Wanneer deze voorganger (of huidige collega) geen aantoonbare fouten heeft gemaakt in het opzetten of analyseren van de test, is er zonder de aanwezigheid van andere factoren waarschijnlijk geen reden deze test opnieuw uit te voeren.

Hoe kom je aan buy-in?
Soms kan het al moeilijk genoeg zijn om het aan organisaties duidelijk te maken dat bepaalde tests uitgevoerd dienen te worden. Dit is des te lastiger bij het opnieuw uitvoeren van oude tests. Al gauw worden er argumenten aangedragen als ‘maar dat hebben we toch al eens bekeken?’. Hoe ga je hiermee om en zorg je dat tests voldoen aan bovenstaande eisen om opnieuw getest te gaan worden?

Testgedreven organisatie
Het voordeel van een zogenaamde testgedreven organisatie is dat alles open staat voor discussie. Beslissingen en keuzes worden niet genomen door één persoon of een Raad van Bestuur, maar zoveel mogelijk op basis van data en onderzoeken. In een dergelijke organisatie zijn bovenstaande argumenten dan ook voldoende om een test opnieuw te gaan uitvoeren.

agar-60571_640

Jij bent de conversie expert
In het verleden heb je laten zien dat je uitgebreide kennis van zaken hebt en onderbouwde beslissingen neemt. Deze beslissingen hebben geleid tot interessante nieuwe bevindingen, die er op hun beurt weer tot leiden dat websites hun doelen beter behalen. Heb de je reputatie niet, dan is het zaak om hier aan te werken.

Lager volume van verkeer
Vaak is het mogelijk buy-in te krijgen door het risico ergens van te verlagen. Een goed voorbeeld daarvan is natuurlijk ‘Laten we dat testen’ in plaats van ‘Laten we dat doorvoeren’. In dit geval kan de drempel om een akkoord te geven op een hertest worden verlaagd door een mindere hoeveelheid verkeer door de test te sturen. Hiermee wordt de kans op een eventuele negatieve invloed van de test verkleind en daarmee tevens het risico om de test opnieuw uit te voeren.

Onderdelen oude test hergebruiken
In veel gevallen is het mogelijk om delen van de oude test te hergebruiken. Denk hierbij aan stukken design of HTML/JS/CSS code. Wanneer er screenshots van de varianten worden opgeslagen, maakt dit het nabouwen (zelfs wanneer er geen code meer beschikbaar zou zijn) al veel eenvoudiger.

Te verwachten resultaten?

Bovenstaande factoren
De resultaten van de opnieuw uitgevoerde test zijn moeilijk te voorspellen. Wanneer de test in één van bovenstaande onderdelen beschreven onder wel/niet uitvoeren valt, dan kan met enige zekerheid worden verwacht dat er wel/niet dezelfde resultaten als voorheen uit zullen komen. Wanneer de omstandigheden niet hetzelfde zijn, dan kan er echter weinig over de uiteindelijke resultaten worden voorspeld.

Dit maal goed opzetten
Zorg er bij het opnieuw uitvoeren van de test voor dat dit maal wel alles goed is opgezet. Denk er bijvoorbeeld aan een onderbouwde keuze te maken tussen A/B of MVT tests, een goede hypothese, voldoende doorlooptijd en juist ingestelde doelen. Dit zal de kans op waardevolle learnings uit de test aanzienlijk vergroten.

Conclusie
Sommige tests zijn wel de moeite waard om opnieuw uit te voeren, terwijl andere dit waarschijnlijk niet zijn. Door de beoogde testen naast bovenstaande checklist te leggen kan bepaald worden in welke categorie de test valt. Loop maar eens door je archief met testen en kijk of er test tussen zitten die je nog op korte termijn opnieuw kunt uitvoeren!

 

Deel dit bericht

Plaats een reactie

Uw e-mailadres wordt niet op de site getoond