Hoe NS International A/B-testen betrouwbaarder maakte

Hoe weet je zeker dat de resultaten van een A/B-test betrouwbaar zijn? Bij NS International besloot men A/B-testen te hertesten om dit te ontdekken. Deze stap was het startpunt voor een transformatie in de experimenteercultuur en leidde tot significante verbeteringen in hoe de testen geanalyseerd werden.

In deze video deelt Hans Nauta twee boeiende praktijkvoorbeelden: een reeks testen met duurzaamheidsboodschappen en een test met het overslaan van een check-out stap, die beide tot verrassende resultaten leidden. Deze cases laten zien hoe belangrijk het is om resultaten te repliceren en waarschuwen voor de gevaren van te snelle conclusies.

Er wordt ook besproken hoe de samenwerking met professor Kobe Millet van de Vrije Universiteit Amsterdam leidde tot het centraal stellen van hertesten. Met zijn kennis van de replicatiecrisis in de wetenschap hielp Hans NS International kritisch te kijken naar de valkuilen van A/B-testen. Denk daarbij aan het risico van false positives en de realiteit dat niet alle gebruikers beïnvloed worden door wijzigingen. Door hertesten centraal te stellen, wist NS International deze uitdagingen om te zetten in een vernieuwend model voor experimenten met een hogere betrouwbaarheid.

Of je nu een CRO-specialist, data-analist of marketeer bent, deze video zal je inspireren en verrassen!