Zo werk je in vier stappen naar een experimentgedreven bedrijfscultuur toe

Experimenteren is een sleutel tot het verbeteren van prestaties van je website of app. In een experimentgedreven bedrijfscultuur staat dat centraal. Zo’n cultuur bouw je op in vier stappen: goede onderbouwing, opzet, analyse en implementatie van je experimenten.

Experimenteren en het testen van online omgevingen is van cruciaal belang voor iedere organisatie. Maar nog niet iedereen is zich hiervan bewust, of weet hoe je dit op een strategische manier kunt aanpakken zodat uitkomsten en oplossingen met draagkracht en vertrouwen geïmplementeerd kunnen worden. In dit artikel benadrukken we het belang van experimenteren en leggen we in vier stappen uit hoe je dit op een volwassen manier kunt inbedden binnen je organisatie.

Waarom experimenteren op je website of platform?

Voor we de diepte ingaan is het van belang te weten wat precies de directe en indirecte waarde is van experimenteren op een website of platform en het creëren van een experimentgedreven cultuur. Wat kun je precies uit een experimenteerstrategie halen? In ieder geval veel werkplezier. Academici uit andere experimentdisciplines zijn doorgaans jaloers op website-eigenaren die online experimenten kunnen uitvoeren. Door de vaak enorme en gesegmenteerde steekproefgrootte en het weinig voorkomen van onderzoeks-bias is online kwantitatief testen een feestje.

Websitebezoekers zijn bovendien – als ze hier toestemming voor geven – ideale respondenten, omdat ze website-eigenaren direct van de feedback voorzien die nodig is om wijzigingen aan hun platform te toetsen en uiteindelijk door te voeren. Dit levert een win-win-situatie op waarbij aan de ene kant de websitebezoeker profiteert van een betere, soepelere en meer op hun wensen gerichte website-ervaring, en aan de andere kant de website-eigenaar die profiteert van betere resultaten.

Grofweg kun je de waarde van experimenten uitdrukken in de volgende componenten:

1. Directe financiële impact
   • Resultaat uit winnende experimenten
   • Risico vermijden door een ‘negatieve’ uitkomst
   • Verhoogde retentie
2. Indirecte impact
   • Verhoogde tevredenheid van klanten
   • Verbetering Customer Effort Score, Net Promoter Score, Word of Mouth Marketing, etc.
3. Product owners binnen je organisatie verkrijgen meer en diepere kennis over eindgebruikers en hun gedrag en attitude
4. Over het algemeen meer kennis in de organisatie over de waarde en uitkomsten van experimenten en de vaardigheden die nodig zijn bij het optimaliseren van een experiment

Waardevolle experimenten bieden onderbouwing voor belangrijke businessbeslissingen

Waardevolle experimenten geven vaak de doorslag bij een urgente of belangrijke businessvraag. Het resultaat reikt dus verder dan alleen monetaire KPI´s. Denk bijvoorbeeld aan:

• Logistieke uitdagingen, zoals bij de leveringen van producten: hoe stuur je bezoekers bijvoorbeeld al op de webpagina naar wenselijke alternatieven als normale levering niet mogelijk is? Hoe ga je dat oplossen als organisatie?
• Interne impasses: soms kunnen afdelingen intern steggelen over wat goed of fout is, bijvoorbeeld als het legal-team een andere kant op wil dan marketing wat de vermelding van aankoopvoorwaarden betreft.

In dit soort situaties kan een experiment(reeks) net het bewijs leveren dat richting geeft in onduidelijke situaties en zaken weer in beweging brengt. Daarnaast zijn er ook waardevolle neveneffecten van experimenteren op je website. Zo zorgen experimentresultaten voor gefundeerde discussies over platformwijzigingen. Dit scheelt discussietijd en draagt ook bij aan de adoptie van datagedreven besluitvorming. Een waardevol bijeffect, zeker bij organisaties die nog veel beslissingen maken op basis van onderbuikgevoel.

Wat als je niet experimenteert?

Wijzigingen aanbrengen op je platform kan grote gevolgen hebben voor bedrijfsdoelstellingen. Valideer je die wijzigingen secuur, dan weet je waar de oorzaak van die gevolgen in eerste instantie lag. Dit is cruciaal om te doen, zeker omdat gemiddeld 50 procent van alle wijzigingen een negatieve impact heeft op de resultaten. Als je de wijzigingen valideert voorkom je verliezen en leer je ook waarom deze wijzigingen niet werken. Dus, valideer je geen of maar een klein deel van je platformwijzingen met experimenten, dan is het van belang om dit zo snel mogelijk wel te gaan doen. Want alleen zo

1. leer je meer over je klanten;
2. creëer je waardevollere ervaringen voor je eindgebruikers;
3. beperk je mogelijke verliezen.

Het moge duidelijk zijn: experimenteren is een cruciaal onderdeel binnen organisaties, of zou dat in ieder geval móéten zijn. Maar hoe zorg je nou dat je experimenteren op een volwassen manier binnen de processen binnen je organisatie inbedt? Dit kan volgens ons in vier overzichtelijke stappen: de 0nderbouwing, de opzet, de analyse en tot slot het delen en draagvlak.

Stap 1: de onderbouwing

De kwaliteit van een experiment hangt af van twee cruciale aspecten: een goede onderbouwing en een gedegen opzet. In de onderbouwing van het experiment zijn drie zaken van essentieel belang: de kwaliteit van het vooronderzoek, de hypothese en de relatie tussen de gevonden oplossing in het experiment en het vooronderzoek.

Een goed experiment kenmerkt zich door een gedegen vooronderzoek met een doordacht gebruik van data. Het vooronderzoek loopt op een natuurlijke manier door in een hypothese die je wilt valideren, en de uiteindelijke experimentvariant(en) toetsen ook daadwerkelijk dat wat de hypothese voorstelt. Een experiment dat een mooie winst laat zien, maar dat niet te herleiden is naar de hypothese zorgt misschien voor een gewenste stijging in een gekozen KPI, maar qua kennis en lerend vermogen draagt dit niet op een wenselijke manier bij. Je weet dan namelijk niet waaróm de situatie verbetert is. Een naadloze aansluiting tussen hypothese en experimentvariant is dus cruciaal voor een succesvol experiment, maar dat kan een uitdaging zijn.

Als je eenmaal een hypothese hebt, kun je op zoek gaan naar de visuele uitwerking van de oplossing die je wil testen in het experiment. Ook hier is het cruciaal om grondig te onderbouwen waarom de gekozen oplossing de meest geschikte is, en waarom je niet voor een andere heb gekozen. De gecombineerde databronnen die je eerder hebt gebruikt in het vooronderzoek en het opstellen van de hypothese kun je hiervoor goed inzetten. Gebruik die data om te laten zien dat er een directe relatie bestaat tussen het probleem en de voorgestelde visuele oplossing.

Stap 2: de opzet

Je hebt inmiddels de hypothese en de oplossing voor ogen die je in je experiment wil testen. Dan is het nu tijd voor de opzet. Een goed experiment valt of staat bij de opzet. Als de opzet goed is, zijn resultaten en conclusies bruikbaar en kun je de oplossing doorvoeren om binnen je organisatie impact te maken. Maar hoe zet je een goed experiment op? Bij het opzetten van een experiment moet je nadenken over het volgende:

• Stel de benodigde steekproefgrootte van het experiment vast, bepaal hiervoor: 1) de baseline conversie; 2) het betrouwbaarheidsinterval; 3) de power; 4) het Minimal Detectable Effect.
• Stel de benodigde looptijd van het experiment vast

Houd verder rekening met het volgende: stel controle en testvarianten bloot aan dezelfde doelgroepen en let op consistente doelgroepgroottes bij vervolgtesten.

Stap 3: de analyse

Het is cruciaal dat de analyse van een experiment zorgvuldig gebeurt. Anders loop je het risico dat resultaten niet geldig en daarmee niet bruikbaar zijn, of dat je een beoogde oplossing doorvoert op basis van een ongeldig resultaat, terwijl die een negatieve impact heeft op wat je uiteindelijk wil bereiken. Om te zorgen voor geldige en bruikbare resultaten zijn twee punten van belang:

• De hygiënefactoren-analyse die helpt bij het identificeren van mogelijke obstakels die de conversies negatief kunnen beïnvloeden, zoals slechte navigatie, trage laadtijden en fouten in de websitefunctionaliteit. Het gaat dus feitelijk om de gezondheid van je experiment. Door deze obstakels te identificeren en op te lossen, weet je zeker dat de cijfers die uit het experiment rollen geldig zijn.
• Ieder experiment moet je uiteindelijk beoordelen op de vooraf opgestelde KPI’s. Dat gebeurt in de KPI-analyse. Het is van belang dat je de primaire KPI echt vooraf bepaalt en aanhoudt in de analyse. Als je een aanpassing op de homepage evalueert op basis van elke beschikbare KPI binnen een transactie, dan maak je de analyse te complex en mogelijk minder zuiver. Een hypothese dient daarom geschreven te zijn met één hoofd-KPI als focus en daarmee dient de analyse eveneens plaats te vinden op deze KPI.

Stap 4: delen binnen je organisatie en creëren van draagvlak

Het is gelukt. Je experiment is zorgvuldig opgezet en geanalyseerd, met resultaat! Je wilt de beoogde oplossing binnen je organisatie gaan implementeren. Maar voordat dat kan heb je wellicht te maken met belanghebbenden in de organisatie. Die moet je eerst zien te overtuigen. Daarbij zijn drie factoren van belang: 1) transparantie en samenwerking; 2) goede communicatie; 3) grondige documentatie. Is iedereen overtuigd? Dan kun je zonder drempels je experimentresultaten omzetten in actiepunten om een beoogde oplossing te implementeren.

Experimenteer iteratief en streef naar een volwassen experimenteercultuur

Bij het uitvoeren van experimenten moet je beseffen dat oplossingen doorgaans niet voortkomen uit één experiment: een experiment komt nooit alleen. Een waardevol experiment komt dan ook vaak voort uit de learnings van eerdere experimenten. Experimenteren is een iteratief proces. Het stapsgewijs leren en daarop handelen bij nieuwe experimenten zorgt voor weinig misstappen. En dat is waarom het traject na stap 3 uit het stappenplan vaak wordt herhaald. Uiteindelijk hoop je te komen tot een experiment dat na meerdere incrementele verbeteringen leidt tot een significant resultaat.

Met de structurele uitvoering van de bovenstaande stappen ben je al een eind op weg naar een volwassen experimentgedreven bedrijfscultuur. Maar dan ben je er nog niet. Voor een echte volwassen experimenteercultuur moet je aan een aantal voorwaarden voldoen:

• Er moet een cultuur van kennisdeling bestaan met een wijdverspreid enthousiasme voor experimenteren. Collega’s vanuit alle hoeken van de organisaties brengen ideeën in. Deze kruisbestuiving is de perfecte basis voor een experimentgedreven bedrijfscultuur.
• Een cruciale factor voor succes binnen een organisatie is het creëren van draagvlak. Zelfs met onbeperkte middelen zal een organisatie zonder de steun van het management geen succes behalen. Dit vereist de ontwikkeling van een cultuur waarin de uitwisseling van kennis en data in de gehele organisatie leidt tot inzichten, begrip en de motivatie om te experimenteren.
• De grootst mogelijk impact maakt een experimenteerprogramma door direct bij te dragen aan het realiseren van bedrijfsdoelstellingen. Door ervoor te zorgen dat alle stappen in een experiment – van de initiële dataverkenning tot aan de uiteindelijke implementatie van de winnaar – in het verlengde liggen van bedrijfsdoelstellingen, experimenteer je met maximale impact. Ook maakt dit alle experimeeractiviteiten relevant voor alle niveaus binnen de organisatie. Houd bedrijfsdoelstellingen dus altijd in je achterhoofd.
• Volwassen organisaties hebben het experimeerproces doorgaans op orde, met een uitgewerkt proces inclusief een stappenplan voor test(reeksen) van A tot Z. Voor degene die nog niet volwassen zijn is er goed nieuws: de basis van een solide proces is lang niet altijd afhankelijk van factoren als budget, mankracht en tooling. De processtappen die we in eerdere hoofdstukken hebben behandeld zijn hier niet van afhankelijk.

Over de auteurs: Bob Younge is actief binnen het contentteam van DDMA. Dit artikel is geschreven in samenwerking met de DDMA-commissie Experimentation & Optimisation, die bestaat uit Frank Overbeek (Sitespect), Nadesh van Lauwerijsen (Valantic), Joshua Kreuger (DPG Media), Martijn van Oosten (Goede Doelen Loterijen), Robin Sellaiyah (Philips), Douwe Möhring (dentsu), Mark van Zuijlen (Jacobs Douwe Egberts), Mark de Winter (Clickvalue) en Bas Jansen (Google).

Op de hoogte blijven van het laatste nieuws binnen je vakgebied? Volg Emerce dan ook op social media: LinkedIn, Twitter en Facebook.