Mars of mandarijn? Dit zijn de implicaties van grote hoeveelheid data bij experimenteren

De neiging om na een experiment in de data te zoeken naar segmenten of condities waardoor je hypothese wél klopt, is veel terug te zien bij bedrijven die online experimenteren. Maar mag je wel uitspraken doen over data als je er geen hypothese over hebt gesteld?

Het belangrijkste waar een onderzoeker mee begint, is het stellen van een hypothese. Middels een experiment verzamel je data om een hypothese te toetsen. Nu verzamel je meer data dan nodig is om de hypothese te bevestigen of te verwerpen. Hierdoor is het ontzettend verleidelijk om meer dan de benodigde data te gebruiken voor analyses. Zeker bij een experiment waar we geen verschil vinden op basis van de hypothese. Wellicht hebben we toch “iets” gevonden?

Ook wij lopen tegen deze vraag aan en daarom dachten we na over een experiment tijdens Conversion Hotel 2018. Het is makkelijker om gezonde, rationele keuzes te maken voor jezelf in de toekomst dan voor jezelf op het moment dat je daadwerkelijk moet beslissen (Thaler, 1981). Conversion Hotel was voor de psychologen van Online Dialogue de uitgelezen kans om dit eens op de proef te stellen. Tijd voor een experiment.

Het mandarijnen-experiment

Deelnemers konden zich via de event app inschrijven voor workshops. Het inschrijven via de app gaf ons de mogelijkheid om voorafgaand aan de workshop te vragen of de deelnemers een stuk fruit of een candybar wilden eten tijdens de workshop. Dit deden we onder het mom van “we willen weten hoeveel we moeten inkopen”. Tijdens de workshop vertelden we de deelnemers dat er helaas iets was misgegaan bij het doorgeven van de bestellingen. Om dit verschil op te vangen hadden we ervoor gezorgd dat er genoeg mandarijnen en candybars waren voor iedereen. Dus ongeacht wat je eerder doorgegeven had, kon je nu gewoon kiezen waar je zin in had. Aan ons de schone taak om te tellen of er meer mandarijnen of candybars werden gegeten.

In overeenstemming met onze verwachting, koos een meerderheid van de deelnemers (58 procent) van tevoren voor de gezonde keuze, de mandarijn. Na afloop van de workshop hadden de deelnemers 59 mandarijnen en 45 repen gegeten. Wat wil zeggen dat 57 procent van deelnemers tijdens de workshop koos voor een mandarijn (oftewel de gezonde keus). Er zit nauwelijks verschil tussen. We kunnen de hypothese, dat mensen gezondere keuzes voor zichzelf in de toekomst maken, dan als mensen op het moment zelf moeten kiezen, niet bevestigen.

Jammer, einde experiment?

Nog niet. We kwamen erachter dat er een verschil zat in het moment waarop de snack werd aangeboden. In twee van de vier workshops bleken de snacks voorafgaand aan de workshop aangeboden aan de deelnemers, in de andere twee workshops juist na afloop. Als we die twee groepen met elkaar vergelijken zien we wél een groot verschil.

Van de groep die bij aanvang van de workshop een snack mocht kiezen, koos 76 procent voor een mandarijn. Na afloop van de workshop was dit 41 procent. Deze afname in het aantal gegeten mandarijnen is significant (p<.0001). Dus: hebben we bewezen dat mensen gezondere keuzes maken vóór een workshop dan erna?

Het verschil in het aantal gegeten mandarijnen deed ons direct denken aan het begrip “ego depletion”. In een beroemd onderzoek vonden Shiv & Fedorikhin (1999) dat deelnemers die een zwaardere cognitieve inspanning leverden, vaker kozen voor chocoladetaart als beloning dan voor een (gezonde) salade. De zware cognitieve inspanning kunnen we in ons experiment invullen door de workshop. Oftewel, de deelnemers waren na afloop van onze workshops flink cognitief uitgeput, waardoor ze zichzelf er minder toe konden zetten de gezonde snack te kiezen.

Mooi, we hebben toch een geslaagd experiment! Weliswaar geen bevestiging van onze hypothese, maar wel heel leuk om te zien dat we de groepen per ongeluk beïnvloed hebben.

Wat gaat hier fout?

Het achteraf zoeken naar je eigen gelijk, kan niet. Als je geen (overtuigende) reden kunt geven waarom je hypothese onder bepaalde segmenten of condities wél klopt, heb je ook geen enkele reden om aan te nemen dat het effect dat je gevonden hebt niet op toeval gebaseerd is. Heb je wel een goede verklaring? Dan kan die mooi dienen als hypothese voor je volgende experiment. Ondanks dat het heel verleidelijk is om te zeggen dat het een geslaagd experiment is omdat er wel een verschil tussen de groepen is gevonden.

Toch is het verstandig om voorzichtig om te gaan met analyses na afloop van een experiment. Als je maar genoeg analyses doet, ga je namelijk vanzelf significante effecten vinden. En confirmation bias verleidt ons (vaak zonder dat we het zelf doorhebben) om vooral bewijs te zien dat onze verwachtingen bevestigt.

Als je de resultaten van ons mandarijnen-onderzoek ziet, lijkt het heel aannemelijk dat het moment waarop de snacks zijn aangeboden van belangrijke invloed was op de beslissing. Mooie start dus voor een vervolgonderzoek.