CRO voor de lange termijn: Van A/B-test naar gedragsinzicht

De naam conversieratio-optimalisatie (CRO) doet tekort aan wat het proces daadwerkelijk inhoudt en met name, aan wat het je als organisatie oplevert. Het valideren van je aannames door middel van online experimenten leidt tot meer dan alleen een stijging in je conversieratio. Op de lange termijn levert het je kennis over het gedrag van je klanten op. Onmisbare informatie die je in staat stelt om te anticiperen op mogelijke veranderingen in dit gedrag. Maar wie doet dit al?

Op congressen over CRO hoor ik vaak enthousiaste verhalen over het opzetten en structureren van teams, het meekrijgen van de organisatie, het verhogen van de betrouwbaarheid en snelheid van het optimalisatieprogramma en alle succesvolle en minder succesvolle A/B-testen.

Nauwelijks hoor ik organisaties delen hoe ze hun inzichten opslaan en wat ze leren van de kennis die ze opbouwen over het gedrag van hun bezoekers door middel van CRO. Of het helemaal niet gebeurt weet ik niet, maar het wordt in ieder geval niet (genoeg) gedeeld. En dat is jammer, want dat is precies waar een groot deel van de waarde van optimalisatie te vinden is.

Van CRO naar gedragsmodel

Maar hoe kom je erachter waarom een bepaalde variant wel of niet beter presteert? Hoe bouw je kennis op over het gedrag van je klanten, zodat je het later ook organisatiebreed kunt inzetten?

Op basis van mijn ervaring als gedragswetenschapper onderscheid ik vijf factoren die van invloed zijn op de kwaliteit en dus de waarde van je inzichten:

1. Structuur

Een open deur, maar zeer belangrijk wanneer je inzichten wilt opbouwen. Door een duidelijke structuur te hanteren binnen je experimentatie programma voorkom je chaos en behoud je de validiteit en betrouwbaarheid van je resultaten. Je bent je bewust van de keuzes die gemaakt worden, hoe ze gemaakt worden en door wie ze gemaakt worden.

Dit zorgt ervoor dat wanneer er iets gebeurt – bijvoorbeeld wanneer er een bug is of een campagne aangaat die invloed heeft op de resultaten van je A/B-test – je hierop kunt anticiperen of achteraf de keuze kunt maken het experiment opnieuw in te plannen.

2. Data kwaliteit

Zonder betrouwbare metingen weet je niets. Je kunt je aannames nergens op baseren en daarnaast zijn de resultaten die je experimenten opleveren niet bruikbaar. Zorg altijd dat je data klopt, check het zelf of laat het door iemand controleren. Meet je alles wat je wilt meten? Worden alle metingen op het juiste moment ingeschoten? En zijn je data op de juiste manier gestructureerd? 

3. Zorg dat je test wat je wilt testen

Het optimalisatie proces is één grote samenwerking tussen verschillende disciplines. Een van die cruciale punten in de samenwerking vindt plaats wanneer het design afgestemd moet worden op de hypothese.

Een hypothese is in principe niets meer dan een stelling met daarin de verwachting die je hebt over het gedrag. Het design is de uitwerking van deze hypothese in de vorm van een (kleine) aanpassing die het gedrag van de bezoeker op jouw site wel of niet zal beïnvloeden.

In de spiegel-momenten die plaatsvinden tijdens het vertalen van de hypothese in een design is een aantal elementen belangrijk:

Hoe groot maak je de aanpassing? Wordt je aanpassing gezien door de juiste groep bezoekers en is de aanpassing groot genoeg om een verandering teweeg te brengen in het gedrag?

Liggen alle aanpassingen in het design in lijn met de hypothese? Worden er misschien elementen aangepast die een ander effect kunnen hebben op het gedrag van je bezoeker en zo je resultaten kunnen vervuilen?

Soms hebben we de behoefte om toch nog een extra element aan te passen omdat het er dan net wat mooier uitziet of misschien omdat je ergens een foutje of bug hebt ontdekt. Al deze aanpassingen kunnen al dan niet een effect hebben op je resultaat.

Zorg dat je design zuiver is en er echt maar één factor verschilt van de controle variant. Alleen zo kun je met redelijke zekerheid zeggen wat de oorzaak is van de verandering in het gedrag van je bezoekers.

4. Ga op zoek naar alternatieve verklaringen

Heb je een effect gevonden? Ga dan vervolgens op zoek naar alternatieve verklaringen. Blijf niet zoeken naar bevestiging maar wees de advocaat van de duivel. Zijn er potentieel andere verklaringen voor het effect dat je hebt gevonden? Zo ja, test ze!

Net als in de wetenschap probeer je telkens je eigen bevindingen te weerleggen; je hypothese is waar zolang je geen bewijs hebt gevonden die je aanname onderuit haalt. Zo verzamel je veel sneller, veel meer en veel betrouwbaardere kennis over het gedrag van je bezoekers (dan wanneer je telkens je eigen aannames aan het bevestigen bent).

5. Hertest je bevindingen

Dit punt ligt een beetje in lijn met het vorige punt, maar is daarom zeker niet minder belangrijk. Gedrag is niet alleen complex en onderhevig aan ongelofelijk veel verschillende (interne en externe) factoren, het verandert ook nog eens constant.

Een experiment dat je uitvoert in februari kan bijvoorbeeld een compleet ander effect hebben wanneer je het midden in de zomer uitvoert. De doelgroep bij wie je het experiment hebt uitgevoerd kan door te tijd heen andere voorkeuren ontwikkelen. En dan hebben we het nog niet eens over de kleine contextuele verschillen die per seconde per persoon weer anders kunnen zijn.

Zorg daarom dat je blijft hertesten. Ten eerste om te zien of er andere factoren invloed hebben gehad op het gedrag van je bezoekers en ten tweede om erachter te komen of en hoe het gedrag van je bezoekers door de tijd heen verandert.

Van gedragsmodel naar innovatie kans

Samengenomen zorgen de bovenstaande punten ervoor dat je experiment voor experiment nieuwe kennis verzamelt over je klant. Hoe maakt je klant een keuze, welke oorzaken hebben invloed op deze keuze en welke rol kun jij als organisatie spelen binnen dit keuzeproces?

Op den duur ga je patronen herkennen in het gedrag van je klant en kun je een gedragsmodel maken dat je niet alleen in staat stelt om op de juiste manier in te spelen op de wensen en behoeftes van je klant maar ook om te anticiperen op veranderingen in deze behoeftes en wensen.

Ze zeggen dat ieder product of iedere dienst, hoe populair ook, ooit ingehaald wordt door nieuwe ontwikkelingen. Dit voorkomen kan niet, maar de verzameling van inzichten die jouw experimentatieprogramma kan opleveren zorgt er in ieder geval voor dat je als een van de eerste in de markt zicht hebt op deze verschuivingen en erop kunt reageren.