Conversie: A/B-testen met Bayesiaanse statistiek

Het mooie van de conversie-optimalisatie en het meten van succes is dat de A/B-test direct belangrijke inzichten biedt. Men neme de gewijzigde pagina en zet deze af tegen de huidige situatie. En zie: de conversieratio bepaalt welke richting ingeslagen wordt. Maar, zo blijkt, dat kan ook anders. Op basis van statistisch werk en eigen verstand.

Want de belangrijke vraag die na iedere test rest is in hoeverre het resultaat is te veralgemeniseren naar een populatie van groter formaat. In de meeste gevallen komt daarbij de waarde van de statistische significantie om de hoek. Maar zeggen de resultaten van een A/B-test ook iets bij een kleinere proef? Ja, zegt Jeff Rajeck. Met Bayesiaanse statistiek.

Ingewikkeld hoeft het niet te zijn, afwijkend van veel andere statistische methoden is het wel. Normaliter is een statistische berekening gebaseerd op feiten die zijn verzameld. De waarden die deze feiten vertegenwoordigen stopt men in de formule, na berekening is daar de veelzeggende uitslag. De statisticus Thomas Bayes gaat een stapje verder en raadt aan álle relevante informatie die voorhanden is te gebruiken en niet slechts dat wat verzameld is.

En dat is anders dan bij iedere andere A/B-test. Die vergelijkt immers situatie A met B, alle overige informatie is irrelevant. De Bayesiaanse methode pleit voor het gebruik van het eigen verstand. Want zo zwart-wit als A versus B is de realiteit nooit. Als tester bezit je een hoop kennis en informatie die relevant kan zijn in doorhakken van die uiteindelijke knoop. Zeker wanneer de steekproef kleiner is van formaat kan een test voor verrassende resultaten zorgen.

Is de knop rood dan stijgt de conversie in ene naar 90 procent. Realistisch? Waarschijnlijk niet. De ervaring die je  als marketeer bezit, vertelt je dit niet zomaar aan te nemen. Hoe graag je een A/B-test ook gelooft. In plaats van slechts te zoeken naar die ‘winnaar’, raadt de Bayesiaanse methode aan dat wat jij denkt dat het juiste antwoord is mee te nemen in de berekening. Omdat je meer informatie gebruikt dan de waarden die voor handen zijn, kan zelfs al bij een kleine steekproef een definitieve uitslag volgen.

De berekening

Belangrijk voor deze methode: je moet met een voorspelling komen voor wat het conversiepercentage zal zijn en hoe waarschijnlijk het is dat er van dit percentage moet worden afgeweken. Bijvoorbeeld vijf procent in de plus en vijf procent in de min. De standaarddeviatie in statistisch jargon.

Rajeck verwijst voor de berekening naar een interessante tool: de Bayesiaanse A/B calculator. Daarbij wordt situatie A – 11 successen en 89 mislukt – en situatie B – 20 conversies van 100 – met elkaar vergeleken. Links in de bovenhoek vind je er de Alpha en Beta voor – vrij vertaald – eigen kennis of verstand.

Hoe vind je de Alpha en Beta?

Stel je een webpagina voor met een conversiepercentage van vijf procent, maar die nooit de 20 procent overstijgt. In een nieuwe berekening in de calculator vind je een conversie van 50 procent met een grote deviatie. De helft van de bezoekers gaat gemiddeld over tot een koop, maar het percentage varieert sterk. Op slechte dagen is het slechts 20 procent, op jubeldagen neemt het toe tot acht van de tien.

Ververs het scherm nog eens – of gebruik recalculate – en voer bij Alpha een drie in, en bij Beta 50. Onderstaand voorbeeld lijkt veel meer op onze casus. De conversie is om en nabij de vijf procent, met een kleine deviatie.

Testen maar
Met Alpha en Beta bij de hand kan het testen beginnen. Test B  doet het iets beter, de conversie neemt iets toe.

Maar hoe waarschijnlijk is het dat de resultaten kloppen? Behoorlijk. De Bayesiaanse berekening zegt dat met 92 procent waarschijnlijkheid situatie B inderdaad beter presteert. Nog altijd wat onzekerheid maar dat is een marketeer wel gewend.

Natuurlijk moet daarbij rekening worden gehouden met het feit dat de resultaten zo goed zijn als die eigen ervaring. Zonder campagnegeschiedenis of kennis van de specifieke situatie blijft het gissen. Maar duidelijk is dat ook met een relatief kleine steekproef, wat wetenschap en eigen verstand al behoorlijke uitspraken zijn te doen.