-

De grootste valkuilen van experimenteren

Resultaat neerzetten, vooruit gaan, stappen maken, actie ondernemen. In ons werk zijn we dagelijks bezig om toegevoegde waarde te leveren aan klanten, collega’s, de organisatie, de community of aan onszelf. Het is daarbij belangrijk om overtuigend over te komen en te staan voor wat je wil bereiken. Soms geloof je er zo erg in dat je in een valkuil stapt omdat je jouw idee niet meer objectief kunt bekijken. Recent hoorde ik iemand nog zeggen over een A/B test: “Ik eet mijn schoen op als het niet werkt”. Goed om enthousiasme en overtuiging te ervaren, maar tegelijkertijd ging er bij mij een alarmbel af.

Door middel van experimenteren is het steeds gemakkelijker geworden om na te gaan wat wel en niet werkt. Maar naast datagedreven gedragsinzichten zijn er ook talloze aannames over hoe klanten en bezoekers komen tot aankopen of acties. Vaak hoor ik opmerkingen zoals: “onze klanten zitten daar niet op te wachten”, “klanten kijken alleen naar prijs” of “we moeten het net zoals onze concurrenten doen” voorbij komen. Het is belangrijk om dit soort aannames goed te onderbouwen.

Er zijn drie valkuilen die ik in de praktijk (veel) tegenkom: confirmation bias, groepsdenken en teveel focus op succes.

Confirmation bias

Confirmation bias is de neiging van mensen om meer aandacht en waarde te hechten aan informatie die de eigen ideeën of hypotheses bevestigt. Tegelijkertijd is er de neiging om minder aandacht te besteden aan informatie die eigen ideeën tegenspreekt. Onbewust negeren of verdraaien we informatie, zodat het aansluit bij onze ideeën en standpunten.

Een grote mate van emotionele betrokkenheid of diepgewortelde vooroordelen hebben een invloed op je confirmation bias. Iedereen hoopt natuurlijk het juiste idee en hypothese te hebben. Dit geldt ook voor het voorbeeld van de A/B test, omdat deze persoon bij voorbaat al gelooft in het idee, vindt hij redenen/bewijs vóór het idee opvallender en overtuigender dan redenen/bewijs tégen het idee.

Zo zijn valkuilen bij confirmation bias dat je naar verbanden gaat zoeken die er niet zijn, vanuit je eigen perspectief denkt en test zonder alle informatie objectief te gebruiken.

Groepsdenken

Een psychosociaal verschijnsel waarbij een groep van bekwame personen zodanig wordt beïnvloed door groepsprocessen, dat de kwaliteit van groepsbesluiten vermindert. Het ontstaat als groepsleden in de eerste plaats letten op het behoud van consensus en eensgezindheid bij een beslissingsproces in plaats van een kritische overweging van de feiten. Als je als team werkt aan digitale verbeteringen of experimenten dan is het handig om ideeën afzonderlijk te blijven geven en een prioritering aan te brengen op basis van wegingsfactoren zodat je niet beïnvloed raakt door wat jouw teamgenoot oppert. Op deze manier kunnen groepsbesluiten blijven bestaan, zonder beïnvloeding door aannames.

Teveel focus op succes (waardoor falen niet mag)

Deze valkuil zie ik in de praktijk op twee manieren terugkomen:

  • Bij experimenteren ga je in een hele korte tijd veel wijzigingen doen. Tijdens het proces van experimenteren kan het gebeuren dat je wel eens fouten maakt.
  • Als je experimenteert komt het ook wel eens voor dat de resultaten negatief zijn of dat er geen effect is. Hoewel dit hele waardevolle learnings kunnen zijn voor vervolgexperimenten, worden ze meestal niet meegenomen of krijgen ze niet de aandacht die ze verdienen omdat het geen winnaars zijn.

Het is belangrijk om inzichten met elkaar te delen om ervan te leren, dus ook als het negatief is. Op het moment dat je je alleen richt op succes, werk je een statische mindset in de hand. Hierbij is het team alleen gericht op presteren, terwijl je bij experimenteren je ook wil richten op ontwikkelen en leren (een growth mindset). Carol Dweck deed jarenlang onderzoek vanuit Stanford en schreef hier een interessant boek over: Mindset.

Hoe voorkom je deze valkuilen?
  • Ben je ervan bewust dat iedereen ontvankelijk is voor biases en valkuilen.
  • Accepteer dat je fout kan zitten en leer hier mee leven. Dit kan lastig zijn, maar je moet vaak ongelijk hebben om vaak gelijk te hebben als het gaat om conversie optimalisatie.
  • Zoek naar een ander perspectief. Vraag andere mensen uit je team naar hun ideeën.
  • Breek met routine en ga op zoek naar nieuwe inzichten aan de hand van datagedreven onderzoek.
  • Gebruik data en inzichten om een beeld te krijgen wat klanten echt beweegt.
  • Experimenteer en onderzoek om je eigen ongelijk te bewijzen
  • Zorg dat je je eigen valkuilen herkent en praat hierover met elkaar.
  • Richt je op growth mindset waarbij het niet alleen draait om presteren maar ook om ontwikkelen en leren.

Heeft de persoon die ik eerder noemde zijn schoen moeten opeten? Ja, zijn overtuiging werd niet bevestigd in het experiment, waardoor hij inderdaad zijn schoen heeft moeten opeten (we hebben hem een chocolade schoen gegeven).

Over de auteur: Lotte Cornelissen is data driven optimization teamlead bij Online Dialogue.

Deel dit bericht

Plaats een reactie

Uw e-mailadres wordt niet op de site getoond