-

Drie essentiële mindsets van hoogpresterende conversieteams

Hoe onderscheiden hoogpresterende conversieteams zich van de algemene experimenteerder? Uit een grootschalig eigen benchmarkonderzoek blijkt dat gedragsverschillen meer invloed hebben op het aantal succesvolle tests dan de grootte van de organisatie.

Er worden meer dan 100.000 testen per jaar gedraaid op Optimizely, dus we beschikken over grote hoeveelheden data. Wij waren benieuwd wat we daaruit inzichtelijk kunnen maken als best practices. In de analyse hebben we veel verschillende factoren geanalyseerd – hoe lang een test loopt, hoeveel varianten worden getest, de sector waarop het experiment betrekking heeft, enzovoorts. Uit ons onderzoek blijkt dat tweederde van alle experimenten die gedraaid worden bij de opzet al een lagere slagingskans hebben.

Hoogpresterende teams verschillen in het feit dat ze meerdere variaties tegelijkertijd testen, meer verantwoordelijkheid voor de eindgebruiker voelen, en veranderingen grondig analyseren. Voor de meerderheid van experimenteerders zijn drie ‘mindset shifts’ van belang.

Vraag niet of een verandering werkt, maar wat de beste optie is

Een van de krachtigste inzichten die we hebben verkregen is dat een experiment met méér dan twee varianten significant succesvoller is. Stel, een bedrijf wil weten hoe de ideale homepage eruit moet zien. Dan is het vaak gebruikelijk om de huidige versie en bijvoorbeeld een afgeleide van de concurrent te laten zien aan testgroepen en zo het verschil te meten. Maar uit ons benchmarkonderzoek blijkt dat wie vijf varianten test in plaats van twee, 50 procent meer kans heeft op een winnend experiment. Oftewel: de kans dat je een oplossing vindt voor een klantprobleem is 50 procent hoger bij vijf varianten. Er bestaan twee verklaringen voor deze bevinding.

Ten eerste, wanneer teams slechts één kans hebben om te slagen is er weinig ruimte voor innovatie of risico’s. Voor teams die vijf variaties testen is het daarentegen mogelijk om meerdere oplossingen te proberen en zich te laten leiden door data. Een vijf-variatie-experiment omvat dan bijvoorbeeld de huidige homepage, een ontwerp van de concurrent, een idee vanuit het MT, een alternatief vanuit het productteam en een radicaal ander ontwerp. Hoe meer variaties, des te meer ruimte om echt te experimenteren. We hebben een groot Amerikaans mediabedrijf dat gewend was twee of drie varianten te testen naar aanleiding van dit onderzoek het advies gegeven er vier of vijf te bedenken. Dat leverde per experiment een 20 procent hogere slagingskans en per winnaar een 10 procent hogere conversiestijging op. Het resultaat hiervan was dat elk test die werd gedraaid gemiddeld 33 procent meer impact genereerde.

De tweede reden is dat experimenten met meerdere variaties het probleem voor de eindgebruiker centraal hebben staan. Bij een verandering is het makkelijk om te zeggen, “laten we het testen.” Maar bij meerdere variaties moet het probleem centraal staan om de variaties aan elkaar te verbinden. Dit leidt tot de tweede essentiële mindset shift.

Wees verantwoordelijk voor zowel de klantervaring als de experimenten

Bedrijven die de neiging hebben om het bij twee varianten te houden, zijn vaak hiërarchisch georganiseerd. Regels zijn belangrijker dan creativiteit. Vaak zien wij dat teams die gemiddeld twee variaties testen een reactieve houding hebben in het ontwerpproces. De teams zien het daarnaast ook vaak als hun taak om veranderingen te meten en resultaten terug te koppelen. Omdat ze weinig invloed op de roadmap hebben worden experimentideeën zelden onderzocht om verbeteringen door te voeren.

Dit is anders bij hoogpresterende conversieteams. Uit onze interviews blijkt dat teamleden zich verantwoordelijk voelen voor het ontdekken van klantproblemen, het draagvlak creëren voor veranderingen en het iteratief testen van oplossingen. Voordat veranderingen worden uitgewerkt worden de pijnpunten van de eindgebruikers geverifieerd. Pas daarna beginnen teams met het bedenken van variaties. Met andere woorden: het probleem van de klant staat centraal, niet de verandering die wordt voorgedragen.

Meet alle verbeteringen, niet alleen het eindresultaat

Uit ons onderzoek blijkt dat er ook een significant verschil bestaat als het gaat om de slagingskansen van een experiment op basis van het aantal doelen dat wordt gemeten. Bij meer dan de helft van alle experimenten worden maximaal drie doelen gemeten, terwijl experimenten met zes doelen een 50 procent hogere slagingskans laten zien. Een vaak genoemde reden waarom bedrijven weinig doelen meten, is omdat alleen het eindresultaat wordt gewaardeerd. Stijgt de omzet, ja of nee? Het probleem met deze aanpak is dat grote resultaten voortbouwen op vele kleine veranderingen. Het is zeldzaam dat een experiment op de thuispagina nog steeds een meetbaar effect heeft op de betaalpagina. Maar datzelfde experiment kan nog steeds significant meer mensen naar de winkelmand sturen. Deze resultaten worden vaak niet herkend in de eindresultaten, waardoor teams belangrijke feedback missen en niet de juiste beslissingen nemen.

Wie zijn of haar website echt wil optimaliseren, moet af van de ‘rubber stamp’ mentaliteit die draait om het goedkeuren van vooraf bedachte ideeën. In plaats daarvan moet het klantprobleem centraal staan en de effecten van meerdere opties altijd goed gemeten en overwogen worden.

Meer weten over de best practices die uit het benchmarkonderzoek naar voren komen? Hazjier Pourkhalkhali is een van de sprekers tijdens Conversion, dat op 13 april a.s. wordt gehouden in Amsterdam.

Deel dit bericht

2 Reacties

Maurice Beerthuyzen - Symplytics

Beste Hazjier,

Gaaf om uit zoveel testen een benchmark te kunnen presenteren. Ben benieuwd naar je presentatie donderdag as.

Twee opmerkingen:
– Je begint je verhaal met het feit dat testen met meerdere variaties uiteindelijk meer succes oplevert, dan een traditionele A/B test. Maar je moet hier dan wel bij vermelden dat je daarvoor de benodigde traffic en conversies nodig hebt. Een niet onbelangrijk detail lijkt me 🙂

– Wat betreft je opmerking over testen op de homepage: Het werkt het beste om zo dicht mogelijk tegen de check out te beginnen met testen. Vandaaruit optimaliseer je langzaam naar ‘boven’ richting homepage. Beginnen met optimaliseren op de homepage levert wellicht meer kliks op richting de volgende stap in de funnel, maar vervolgens heeft men in stap 2 weer een een probleem. Beginnen met testen op de homepage draagt dan ook niet meteen bij aan een betere conversie.

Hazjier Pourkhalkhali - Optimizely

Hi Maurice,

Dank je voor je reactie. Ik kijk ernaar uit om je te ontmoeten op Emerce Conversion. Je stelt goeie vragen ik ben het in de grote lijnen eens met je, mits een paar nuances:

– Meerdere variaties vereisen meer bezoekers:

Hier heb je zeker gelijk in en ik zal hier ook dieper op ingaan tijdens Emerce. Mijn korte antwoord is dat bedrijven hier gewoon de tijd voor moeten nemen. Laat testen langer draaien om hoge kwaliteit resultaten te garanderen. Vaak zijn teams geforceerd om snel vragen half te beantwoorden. Teams die het bedrijf kunnen laten inzien dat meer tijd de kwaliteit van hun programma verhoogd, creëren een omgeving waar ze beter kunnen presteren.

Natuurlijk zijn er bedrijven wiens bezoekersaantallen zo laag zijn dat dit geen optie is, maar voor bedrijven die >100k bezoekers per maand door een test runnen is dit een goede strategie.

– Test aan het einde van de funnel in plaats van het begin:

Het voorbeeld van het thuispagina experiment was illustratief om het belang van microconversies te verhelderen. Mijn advies is om de KPI’s van je organisatie op te splitsen en op basis van strategische prioriteiten te kiezen waar je experimenteert.

Ik verdeel conversie vaak in de twee helften van de funnel:
Conversie = Add-to-Cart Rate x Cart Check-Out Rate

Als de Add-to-Cart Rate te laag is dan zou ik aan de start van de funnel experimenteren. Als de Cart Check-Out Rate te laag is zou ik aan het einde van de funnel experimenteren.

Als we er vanuit gaan dat beiden even veel prioriteit hebben dan zijn er twee filosofieën met beiden hun voor- en nadelen:

Het voordeel van aan het einde van de funnel testen ligt hem in de snelheid waarmee je impact hebt op je omzet. Je focust op een heel gekwalificeerd segment van je bezoekers en kan heel snel de impact meten op hun koopgedrag.

Het voordeel van aan het begin van de funnel testen is tweedelig. Ten eerste kan je meer mensen door de funnel heen sturen, waardoor je meer bezoekers krijgt voor experimenten later in de funnel. Dit is voor sommige bedrijven essentieel om dieper in de funnel te kunnen testen.

Het tweede voordeel is dat wanneer je het einde van de funnel bereikt, dat je een stabielere opmaak van je bezoekers daar hebt. De mogelijkheid bestaat dat wanneer je van het eind van de funnel naar het begin hebt getest, dat de opmaak van bezoekers die doorstroomt tot het einde zodanig is veranderd dat eerdere uitkomsten niet meer kloppen. Dit kan gebeuren bij experimenten die afhankelijk zijn van de psychologische affiniteiten van de bezoekers, bijvoorbeeld USP-messaging of motiverende content selectie. Dit is vaak minder relevant bij mechanische experimenten, bijvoorbeeld vragen verminderen of simplificeren.

Plaats een reactie

Uw e-mailadres wordt niet op de site getoond