De impact van Intelligence Tracking Prevention 2.1 op A/B-testen

ITP 2.1 (intelligence tracking prevention) brengt uitdagingen met zich mee wanneer het gaat over third party cookies voor (re)marketing doeleinden. Echter, de impact die ITP 2.1 heeft op A/B-testen wordt regelmatig over het hoofd gezien.

Bij ITP 2.1 worden cookies die client-side worden gezet (via ‘document.cookie’ bijvoorbeeld) na zeven dagen automatisch verwijderd. Hierdoor wordt bij het volgende bezoek na deze zeven dagen automatisch een nieuwe cookie gezet. Dit heeft impact op twee onderdelen: de verdeling van gebruikers in een variant (en ze in die variant houden) en het analyseren van gebruikers.

De testverdeling verandert

A/B-test tools (Optimizely, VWO, Google Optimize) verdelen het totale verkeer over de verschillende varianten van een test. De cookie die de gebruiker heeft, zorgt ervoor dat de gebruiker in de testperiode altijd dezelfde variant blijft zien. Wanneer de cookie wordt verwijderd en de gebruiker terug komt, wordt deze gebruiker opnieuw in de test verdeeld.

De kans bestaat (50/50) dat de gebruiker in een andere variant terecht komt. Dit kan de resultaten beïnvloeden en dat wil je koste wat het kost voorkomen. Wanneer een gebruiker namelijk aan beide varianten wordt blootgesteld, kan een conversie aan de variant worden toegewezen die er niet (of juist wel) aan heeft bijgedragen.

Analyse op gebruikers wordt onbetrouwbaar

In veel gevallen wil je met een A/B-test een gebruiker converteren. Maar wat als een gebruiker nu opeens twee gebruikers wordt? Dat betekent dat je ‘minder gebruikers converteert’ en een lagere conversiepercentage behaalt. Daarnaast verandert de verhouding tussen nieuwe en terugkerende gebruikers. Je kan hier in dit geval niet meer met dezelfde bril conclusies aan verbinden, omdat je er niet meer op kunt vertrouwen dat een gebruiker écht die ene gebruiker is en dat deze gebruiker niet mogelijk meerdere varianten heeft gezien. Voor deze uitdagingen is nog geen eenduidige oplossing. Houd er daarom rekening mee dat je hiermee moet werken, omdat je niet om deze aanpassingen heen kunt. Op dit moment zijn er wel wat oplossingen voorhanden, waarmee bovengenoemde problemen grotendeels aangepakt kunnen worden.

1. Bekijk de bezoekfrequentie van jouw bezoekers

Veel gebruikers van (met name e-commerce) websites hebben een relatief kort koopproces. In dit koopproces komen de gebruikers meerdere keren in een week terug (de cookie wordt verlengd) of kopen de gebruikers in één keer. Daarnaast is het mogelijk dat gebruikers gemiddeld één keer per testperiode (gedurende meestal twee weken) terug komen. Wanneer de gebruiker terugkomt, is de test al voorbij. Geldt dit voor jouw situatie? Dan zal je met A/B-testen nauwelijks hinder ervaren dat de cookies eerder worden verwijderd. Op het moment dat dit bij jouw gebruiker voorkomt, is de test namelijk al voorbij.

2. Ga server-side testen

Server-side testen heeft meerdere voordelen. Zo heeft het minder (negatieve) impact op site-speed, kun je back-end tests doen en heb je geen kans op flickering. Daarnaast heeft het nu ook de positieve eigenschap dat het cookies server-side plaatst. Hierdoor zullen de cookies langer blijven bestaan en zal er niks veranderen aan het A/B -testproces en de analyse. Dit is beter voor de ervaring van de gebruiker en de online marketeer. Maar, dit heeft ook nadelen. De tools zijn gecompliceerder om op te zetten dan client-side tools, hebben geen mogelijkheden ingebouwd voor het implementeren van bijvoorbeeld heatmaps en recordings. Daarnaast is er development capaciteit nodig om deze A/B-tests te implementeren. Bij client-side tools is dat anders, daar kun je al veel bereiken met de visual editor.

3. Analyseer op sessies

De doelen die je op sessies kan analyseren zoals bounce rate, veranderen niet. Deze analysemogelijkheden worden niet ingeperkt door de ITP aanpassingen. Een gebruiker kan door de aanpassingen in verschillende varianten komen. Dit komt niet voor op sessieniveau. Echter, kan je dit niet toepassen op testdoelen op gebruikersniveau. Wanneer je een gebruiker wilt laten aanmelden voor een nieuwsbrief, wil je weten bij hoeveel gebruikers dit lukt. Het aantal sessies per gebruiker kan wel afnemen doordat een bestaande gebruiker als een nieuwe gebruiker wordt gezien. Voorheen werden de sessies bij elkaar opgeteld, nu zullen deze apart worden gemeten.

Streven naar oplossingen

Als ITP blijft zoals deze nu is, zijn de mogelijke oplossingen afhankelijk van de business waarin je opereert en de doelen waarop je test. De oplossingen hierboven kunnen de mogelijke gevolgen van ITP voorkomen met betrekking tot A/B-testen. Ik blijf ernaar streven om ook oplossingen te vinden voor de business waarbij bovenstaande oplossingen niet toepasbaar zijn.