VodafoneZiggo wil naar een validatiegedreven cultuur. Dit zijn hun ervaringen

Het doel van VodafoneZiggo is om steeds meer te experimenteren, veel te leren en toegevoegde waarde te leveren. Zo wil het bedrijf naar een validatiegedreven cultuur. Dagelijks zijn verschillende teams bezig om hun ideeën te valideren en het experimenteren en datagedreven werken in de cultuur te krijgen. Dit zijn de ervaringen van de experts binnen het bedrijf.

De afgelopen jaren is VodafoneZiggo druk bezig geweest met het implementeren van een experimentatie cultuur. Farshad Soleymani (conversion manager): “Jarenlang hebben we binnen VodafoneZiggo aan conversie optimalisatie gedaan. Tot drie jaar geleden  was het echter niet mogelijk om te A/B-testen bij VodafoneZiggo omdat de tooling niet op orde was. Maar nu hebben we echt een virtueel laboratorium met ‘state of the art’ tools. We gebruiken een bewezen CRO-proces en een uitgebreid CRO-programma om alle agile teams te ondersteunen. Echter, de organisatie moet wel weten dat wij dat hebben, anders zullen ze er geen gebruik van maken. Het heeft heel erg te maken met hoe ver de gehele organisatie is en je moet je niet alleen op de digital afdeling richten.

Daarnaast vinden mensen het lastig om te veranderen en niet iedereen ziet de noodzaak van experimenteren. Je hebt te maken met een heel krachtveld aan zaken zoals onder andere skills van mensen, een gestandaardiseerd proces, mindset van managers en product owners en steun van hoger management. Conversieoptimalisatie is breder dan alleen een A/B-test aanzetten en de resultaten uit een tool af te lezen. Conversieoptimalisatie is moeilijk en niet zomaar voor iedere medewerker weggelegd. Het vraagt serieuze investering en skills. Wij zijn daarom ook regelmatig op zoek naar collega’s die enthousiast worden van datagedreven optimalisatie.

Om medewerkers te informeren en te begeleiden hebben we binnen VodafoneZiggo besloten om een CRO Centre of Excellence (COE) op te richten als aanjager van een data en experiment gedreven cultuur dat teams ondersteunt.”

Waarom is experimenteren belangrijk?

Thijs van Lierop (digital analyst en CRO Lead entertainment): “Als webanalist ben ik altijd erg datagedreven geweest. Vroeger liet ik zien wat er op de website gebeurde en gingen we op basis daarvan aanpassingen doorvoeren. Sinds we zijn begonnen met  A/B-testen is het mooie dat je deze veranderingen ook nog kan testen. In die zin zijn er meer bewijs en inzichten voor de ideeën die je hebt. Het mooie van onze manier van A/B-testen is dat wij nog nooit zoveel hebben gekeken naar consumentengedrag. Ik zie dit als een heel belangrijk onderdeel voor organisaties en dit vind ik het mooie van experimenteren.”

Kim Gommers (CRO lead mobile Vodafone): “We hebben nog nooit meegemaakt dat we genoeg development capaciteit hebben. Er zijn altijd veel meer aanvragen dan ze kunnen verwerken. Met  ons CRO-programma heb je een manier gevonden waarop je kunt prioriteren. Door middel van experimenteren kunnen we kijken wat er voor het hele bedrijf het belangrijkste is om developmentcapaciteit aan te besteden. Je kan de testen klein opzetten zodat je alles of bijna alles zelf kunt doen, zo kan je kijken of je impact kunt maken. Als je met een bepaald idee gedragsverandering teweeg kan brengen, kan je hier meer mensen bij betrekken.”

Welke valkuilen of uitdagingen ben je tegenaan gelopen?

Alrik Burger (CRO lead en webanalist B2B): “Er wordt heel snel alleen naar A/B-testen gekeken en wat niet mogelijk is. Dit terwijl het juist belangrijk is om te kijken wat er wel kan. Bij B2B hebben we vaak kleinere aantallen om op te testen, dus moeten we hier slim mee omgaan. Belangrijkste bottlenecks voor cultuur zijn het begin van de reis en een tekort aan resources en tijd. Het geloof is er bij VodafoneZiggo steeds meer gekomen sinds er testen zijn waarbij je echt iets kan laten zien, zoals verrassende resultaten.”

Farshad: “Mijn valkuil is geweest is dat ik mij op één niveau heb gericht. Mijn verwachting was dat als we bottom-up werken, dan zien de teams dat het cool is en gaat het allemaal vanzelf. Ik dacht aan het begin: nu gaat het vliegen, maar ondanks het enthousiasme binnen de teams gebeurde dat niet. Dit kwam omdat het dagelijkse werk ook gewoon belangrijk was en hiervan bovenaf op gestuurd werd. Topdown was het geloof er aan het begin nog niet, mijn manager was heel erg voor maar voor de rest was het enthousiasme en de kennis er nog niet. Toen begon ik mij pas te realiseren dat je afhankelijk bent van meerdere niveaus, waar weer verschillende belangen en ambities spelen. Eerst dacht ik: als we de kennis vergroten door middel van opleiding kan iedereen het leren. Maar mensen hebben daarnaast ook talent, tijd en ambitie nodig. Ik begrijp nu heel goed dat een experimenteercultuur niet terloops zal komen maar dat het echt verandermanagement is.”

Hoe zorg je ervoor dat experimenteren onderdeel van de cultuur wordt binnen het team?

Floris ten Berge: (CRO lead e-commerce Ziggo): “Wat bij ons goed werkt is dat er niet een apart optimalisatieteam is maar dat het in de verschillende teams is verweven. Dit werkt heel fijn omdat je niet de strijd krijgt om bepaalde dingen op de backlog of roadmap te krijgen. Nu komen de ideeën uit het team zelf en word je niet gezien als een apart team. Het is belangrijk dat iemand van bovenaf echt een ambassadeur is en gelooft in experimenteren, zeker in zo’n grote organisatie.”

Thijs: “Het is belangrijk dat je uitlegt waarom je gaat experimenteren. Mensen gaan sneller mee als ze het hele verhaal snappen en welke gedachten erachter zitten. Daarom werken we met Online Dialogue samen omdat zij ook het hele aspect van psychologie meenemen. Je kijkt zo meer naar inzichten in plaats van alleen ruwe data. Hierbij wordt ook het onderbuikgevoel geëlimineerd. Als je begint met experimenteren heb je bepaalde aannames, maar als je een tijdje aan het testen bent merk je dat meer dan de helft van je hypotheses niet kloppen. Als je continu blijft vertrouwen op je onderbuikgevoel maak je gewoon heel vaak verkeerde keuzes. Met experimenteren is het de bedoeling dat je zo veel mogelijk de juiste keuzes gaat maken.”

Waar ligt volgens jou de toekomst van conversieoptimalisatie?

Floris: “Wat nu heel erg opkomt is met name het voice-gedeelte. Ik denk dat het niet alleen maar voice gaat worden maar het CRO-proces zal wel heel anders zijn dan op websites. Ik zie dit vooral in combinatie met display echt een sterke toename krijgen. Een voorbeeld, thuis heb je een Google home die gekoppeld is aan je Chromecast. Het bestellen met alleen voice zie ik minder voor me. Ook in artificial intelligence zie ik zeker kansen. Je ziet wel dat de tools nog niet volwassen genoeg zijn voor ons om daarmee te werken maar ik denk dat het in de toekomst zeker die kant op kan gaan.”

Kim: “Artificial intelligence geloof ik wel in maar is voor ons nog heel ver weg. De belangrijkste stap in de toekomst voor VodafoneZiggo is dat we besluiten echt alles te valideren in de checkout. Waarbij we geen CRO leads meer hebben maar dat de scrum teams echt zelf verantwoordelijk zijn voor experimenteren. Het voortraject in nu goed maar wat nu nog mist is meer doen met de ‘soft data’. Dus waarom is het een winnaar of verliezer? En welke inzichten kunnen we hieruit halen? Echt kijken naar wat je leert.”

Stellingen

Het belang van experimenteren wordt onderschat

Floris: “Niet iedereen is er bekend mee, dus vooral qua bekendheid kan het beter. Het heeft heel erg te maken met hoe je resultaten deelt en hoe je stakeholders meeneemt in het proces. Dus het wordt niet onderschat, maar onbekend maakt onbemind. Het is ook wel een ommezwaai voor mensen die niet gewend zijn om zo te werken.”

Je eigen mening in twijfel trekken is wat experimenteren leuk en lastig maakt

Thijs: “Daar ben ik het zeker mee eens. Je hebt meestal een mening omdat je er goed over na hebt gedacht en dan is het natuurlijk leuker als je gelijk krijgt. Als je niet gelijk krijgt is het wel reuze interessant om te achterhalen waarom je die verkeerde gedachtekronkel hebt gemaakt. Dan vind ik het juist leuk om te analyseren hoe dat dan komt en op zoek te gaan naar wat wel werkt.”

Floris: “Het blijft een valkuil om in je confirmation bias te trappen. Je neigt toch altijd een bepaalde kant op. Ik ben er wel nederiger in geworden en vind het tegenwoordig juist leuk om te zien dat ik het fout had. Vooral als iets heel anders is dan we allemaal dachten, juist omdat je daar echt van leert. Als iets totaal niet strookt met wat iedereen dacht, geeft dit je echt inzichten waar je wat aan hebt. Dit geeft ook weer kracht aan je CRO programma omdat je hiermee de waarde van experimenteren kan laten zien aan mensen die sceptisch zijn. Anders had je iets geïmplementeerd wat gewoon geld had gekost.”

Kennis vormt de olie van een datagedreven programma

Alrik: “Het is vooral belangrijk om tijd te maken om kennis te delen. Dit kan echt een valkuil zijn, want hier zijn weinig resources voor. Ik denk dat het heel belangrijk is om dingen te delen en mensen bewust te maken van data gedreven werken zodat ze een gereedschapskistje hebben en ermee aan de slag kunnen. Ik geloof in data democratie, je moet het niet in bakjes stoppen en de kennis voor jezelf houden.”

Floris: “Het is best wel een learning curve die je doormaakt bij het opzetten van een programma. Zelfs nu leer ik elke dag nog wat bij. Je kunt zoveel stappen blijven maken in het proces. Daarnaast blijft de markt continu veranderen net zoals de tools en technieken.”

Thijs: “Ik houd erg van een democratisch proces waarbij iedereen met ideeën kan komen om te testen. Zo blijft iedereen enthousiast en krijgt het team ook antwoorden op de vragen waar zij mee zitten. Door de kennis te delen die je vergaard zorg je ervoor dat je als team weer tot nieuwe hypotheses kan komen.”

De juiste mindset is belangrijker dat de juiste strategie

Farshad: “De mindset is inderdaad belangrijker. Iedereen moet openstaan dat je op een bepaalde manier gaat werken. Een strategie en proces kan heel mooi zijn, maar daar heb je niks aan als je er niet in gelooft. Je moet op een bepaalde manier willen werken en geloven dat dit enige manier is om te werken.

Doen of denken?

Alrik: “In het begin wil je vooral doen en dan steeds meer overgaan op denken. Het heeft soms ook met communicatie naar stakeholders te maken, wat je wel en niet communiceert. De meeste mensen zitten echt niet te wachten op uitleg over p-waardes en Bayesiaanse kans. Zorg dat je niet de nerd bent die met je dashboardjes aankomt, maar laat mensen gewoon lekker aan de slag gaan.”

Kwantiteit of kwaliteit?

Farshad: “Kwaliteit, we hebben namelijk gemerkt toen we begonnen met testen dat het belangrijk is om eerst alle data goed te hebben. Ik ben super tevreden als wel alle teams testen maar zij niet hun test targets halen, zolang de kwaliteit van hun testen maar goed is.”

Floris: “Kwantiteit in het begin en steeds meer naar kwaliteit toe werken. Dus beginnen met veel kleine testen en zo steeds grotere trajecten gaan draaien. Je leert gaandeweg steeds meer over de mogelijkheden van je systemen en tools. Daarnaast leer je waar je op moet letten en dat maakt een wereld van je verschil voor je kwaliteit. Dus ik denk dat je steeds meer naar kwaliteit toewerkt. Daarbij moet kwantiteit natuurlijk niet afnemen.”