De onmisbare waarde van Integrated Testing – deel II

Voor marketeers zijn client-side A/B testing tools als Optimizely, Google Optimize, VWO, etc. belangrijke middelen om een website data-driven te optimaliseren. Er kleven echter steeds meer beperkingen aan het gebruik van client-side A/B testing tools. Wil je als marketeer in 2020 zakelijk succes blijven boeken met A/B-testen, dan dien je op een andere manier te optimaliseren.

Dit artikel bestaat uit drie delen. In dit eerste deel gaan we in op het gebruik van A/B testing tools en de beperkingen. Deel twee behandelt de verschuiving van client-side naar server-side testen binnen conversietesting. Het laatste deel beschrijft de aanpak van Integrated Testing. Om elke verandering op de website op andere metrics dan alleen conversie af te rekenen.

• Deel I | Waarom de keuze voor client-side A/B testing tools?
• Deel II | Van client-side naar server-side testen
• Deel III | De aanpak voor Integrated Testing (volgt binnenkort)

In het eerste deel van dit blog zijn we ingegaan op het gebruik van A/B testing tools en de beperkingen die hierbij komen kijken. In dit tweede deel lees je hoe je deze beperkingen zoveel mogelijk kunt verminderen.

Verschuiving binnen conversietesting

Als marketeer wil je niet alleen kunnen vertrouwen op het resultaat van uitgevoerde experimenten, je wilt ook weten welke factoren van invloed zijn en welke metrics worden beïnvloed. Hoe kun je A/B-testen zonder de beperkingen van client-side tooling, waarbij je ook de mogelijkheid hebt om je experimenten op andere metrics dan alleen conversie te valideren?

We zien binnen conversietesting een verschuiving van client-side naar server-side testen. Server-side testen is beschikbaar in verschillende vormen. Je kunt ervoor kiezen de tooling als framework of API in de backend van je website te integreren. Of je kiest voor tooling die als proxy server fungeert tussen de browser en webserver. Bij server-side testen wordt de pagina server-side gemanipuleerd voordat de browser het eindresultaat aan de bezoeker toont. 

Betere UX en kwaliteit van testen

Server-side testen staat garant voor een betere UX en betere kwaliteit van testen. De kans op laadfouten is klein. Dit is omdat er geen sprake meer is van third-party client-side scripting die vanaf een externe server geladen moet worden. 

Doordat de browser de variant direct van de server laadt, zijn laadtijden snel. Er zijn tenslotte geen weergaveblokkerende scripts meer nodig. Waardoor de kans op flickering ook wordt voorkomen. Tevens speelt laadtijd, die het resultaat van het experiment beïnvloedt, in deze situatie geen factor meer.

Cookies worden bij server-side testen vanaf de server geplaatst. Daar heeft Safari ITP geen invloed op. Waardoor terugkerende bezoekers de pagina (control of variant) van het experiment zien die ze tijdens een eerder bezoek aan de site al hebben gezien.

Meer controle en invloed

Middels server-side testen worden beperkingen weggenomen die bij het gebruik van client-side tooling door derden (tooling en browser vendors) worden veroorzaakt. Maar server-side testen heeft net als client-side testen ook een aantal beperkingen. Server-side testen is, net als client-side testen, foutgevoelig omdat marketeers met een beperkte kennis en ervaring van web development ook bij server-side testen experimenten live kunnen plaatsen. Experimenten werken niet, of niet goed meer, omdat vanwege een nieuwe release de pagina technisch is gewijzigd. De A/B testing tool kan hierdoor de code die het verwacht niet meer vinden. Toch heb je over deze beperkingen zelf de controle en je kunt hier voldoende invloed op uitoefenen.

Testmogelijkheden zijn ook bij server-side testing enigszins beperkt, er ligt nog veel nadruk op conversie. Maar doordat laadtijd vanuit de tooling zelf geen factor is die het resultaat van het experiment beïnvloedt, kan deze factor als metric worden toegepast om het experiment te valideren. Dit betekent dat je kunt nagaan of bijvoorbeeld toegenomen laadtijd door toepassing van extra JavaScript, of andere te laden resources, binnen een nieuwe feature van invloed is op het succes van de functionaliteit. Het is zelfs mogelijk om specifiek performance optimalisaties te testen. Dit kan door de laadtijd van control en variant (performance optimalisatie) te correleren met business metrics als bijvoorbeeld conversieratio.

Complex

Met het gebruik van server-side testen behoort ook het testen van sitewide of grote features tot de mogelijkheden. Maar dit is uiteraard niet efficiënt en ook zeer complex. Bijvoorbeeld bij het testen van een volledig nieuwe check-out op basis van een manipulatie van de huidige check-out. Wanneer je dit soort complexe features wilt testen dan is het goed om in 2020 een vorm van Integrated Testing te overwegen. Hetzelfde geldt als je in staat wilt zijn om elke nieuwe of gewijzigde feature te kunnen valideren op diverse relevante metrics,

In het laatste deel van dit artikel beschrijven we de aanpak van Integrated Testing om veranderingen op de website op andere metrics dan enkel conversie af te rekenen. Dit deel volgt binnenkort.

Over de auteur: Sander Heilbron is principal consultant bij OrangeValley.