De onmisbare waarde van Integrated Testing

Voor marketeers zijn client-side A/B testing tools als Optimizely, Google Optimize, VWO, etc. belangrijke middelen om een website data-driven te optimaliseren. Er kleven echter steeds meer beperkingen aan het gebruik van client-side A/B testing tools. Wil je als marketeer in 2020 zakelijk succes blijven boeken met A/B-testen, dan dien je op een andere manier te optimaliseren.

In dit artikel lees je welke beperkingen client-side testen heeft, waarom je een vorm van server-side testen zou moeten toepassen en wat het beheer van een totaal online datagedreven platform je als marketeer te bieden heeft. De reeks bestaat uit drie delen. In dit eerste deel gaan we in op het gebruik van A/B testing tools en de beperkingen. Deel twee behandelt de verschuiving van client-side naar server-side testen binnen conversietesting. Het laatste deel beschrijft de aanpak van Integrated Testing. Om elke verandering op de website op andere metrics dan alleen conversie af te rekenen.

Waarom de keuze voor client-side A/B testing tools?

Bij een A/B-test vergelijk je twee factoren met elkaar. We spreken van client-side A/B testing tools wanneer de browser de controlepagina (het origineel) aanpast tot een variant (een aangepaste versie). Voordat de gebruiker deze ziet.

Client-side A/B testing tools zijn om een aantal redenen populair onder marketeers:

• De implementatie van deze tools is zeer eenvoudig,
• Je dient slechts een JavaScript snippet op elke pagina te implementeren,
• Je kan direct van start gaan met testen.

Los van de snippet implementatie kan elke marketeer, zonder tussenkomst van developers, experimenten ontwikkelen (visual editors) en live zetten. Dankzij de korte doorlooptijd van concept naar livegang is het mogelijk om snel met nieuwe experimenten van start te gaan. Er is een groot aanbod aan tools, de investering is relatief laag en sommige tools, zoals Google Optimize, zijn zelfs gratis te gebruiken.

Hoewel de marketeer met client-side A/B tooling veel ruimte krijgt tot experimenteren, is het gebruik ervan zeker niet zonder risico’s.

Laadtijden

Client-side tooling wordt bijvoorbeeld geladen vanaf het domein van de leverancier. En de serverreactietijd is van invloed op de laadtijd van pagina’s. In haar service-level agreement (SLA) refereert Optimizely bijvoorbeeld naar het succes wanneer een snippet een maximale response time heeft van 500 milliseconden. Dat lijkt niet veel, maar dan moet de browser de snippet nog downloaden én uitvoeren. Door het gebruik van JavaScript en een synchrone wijze van laden, geeft de browser de pagina pas weer nadat de browser gereed is met de verwerking van deze bron.

Client-side tooling maakt gebruik van JavaScript om de browser de controlepagina te laten manipuleren tot een variant, voordat de gebruiker deze ziet. De omvang van JavaScript in een experiment, de complexiteit van een experiment (manipulatie) en de processorkracht (CPU) van een device zijn belangrijke factoren. Deze drie zijn bepalend voor de laadtijd van een pagina die een aanpassing bevat. Vooral gebruikers van populaire (Android) budget smartphones ondervinden daar veel nadeel van.

Foutgevoelig

Het gebruik van client-side tooling is foutgevoelig; marketeers brengen met een beperkte kennis en ervaring van web development, experimenten live in een productieomgeving. Wanneer developers een nieuwe release live zetten, zien we experimenten niet goed of helemaal niet meer werken. Dit is zo omdat de pagina technisch gewijzigd is waardoor de A/B testing tool de code die het verwacht niet meer kan vinden. En ondanks de synchrone wijze van laden zien gebruikers vaak eerst de controlepagina heel kort, voordat de browser de variant gereed heeft. Dit ‘flickering’-effect beïnvloedt de betrouwbaarheid van een experiment.

Cookies

Een andere beperking van client-side A/B testing tooling is het gebruik van client-side first-party cookies. Deze cookies worden door Intelligent Tracking Prevention (ITP) in Safari en straks ook in andere browsers nog maar beperkt bewaard (slechts zeven dagen, en voor paid traffic slechts 24 uur). Gevolg is dat gebruikers zowel de controlepagina als variant tijdens een testperiode zien. De tooling weet het ontbreken van de cookie namelijk niet welke pagina de gebruiker heeft gezien bij een eerder bezoek aan de website. Het marktaandeel van Safari in Nederland ligt op bijna 25%, en is daarmee relevant genoeg om actie op te ondernemen.

Focus op conversie en beperkt tot kleine features

Bij client-side A/B testing tools ligt de nadruk alleen op conversie (CXO). Het is onmogelijk om veranderingen op SEO, SEA en Performance (laadtijden) en andere relevante metrics te valideren. Je kunt bijvoorbeeld niet meten wat de invloed van laadtijden op het resultaat van het experiment is, terwijl de invloed van benodigde tooling en scripting op de laadtijd wel significant is.

De tooling beperkt je tot het testen van kleine features. Vaak zijn het aanpassingen in de front-end. Denk aan content, design of functionaliteit. Het testen van grote features, zoals een compleet nieuwe check-out of features die sitewide worden doorgevoerd (een redesign), is niet mogelijk. Houd deze blog in de gaten. Binnenkort volgt deel II waarin we de verschuiving van client-side naar server-side testen binnen conversietesting behandelen.

Over de auteur: Sander Heilbron is principal consultant bij OrangeValley.