Ben je wel betrouwbaar aan het A/B-testen?

A/B-testen is de beste methodiek om causaliteit aan te tonen. Het biedt je bewijs van hoge kwaliteit om te onderbouwen hoe een bepaalde keuze gemaakt moet worden. Mits de betrouwbaarheid van de A/B-tests goed op orde is.

A/A-test

De beste manier om te valideren of je A/B-testoplossing betrouwbare uitkomsten geeft, is het uitvoeren van een A/A-test. Hetzelfde tegen hetzelfde toetsen zou immers geen significant resultaat moeten opleveren, toch? Dit is echter onjuist. De uitslag van een A/A-test is een P-waarde tussen 0 en 1, wat betekent dat de uitkomst van deze toetsing ook een significant effect kan zijn.