De impact van Intelligent Tracking Prevention (ITP) op A/B testen

De laatste jaren is in de Safari browser een aantal wijzigingen uitgevoerd om de privacy van websitebezoekers te beschermen. Deze wijzigingen zorgen ervoor dat gebruikers steeds lastiger gevolgd kunnen worden als zij meerdere websites bezoeken. Dit zogeheten cross domain tracking maakt het mogelijk voor partijen als Facebook om de stappen die jij online zet, te volgen om vervolgens ‘relevante’ advertenties te tonen op basis van je online gedrag.

Wijzigingen in first- en third-party cookies

In juni 2017 is de eerste versie van ITP (Intelligent Tracking Prevention) in webbrowser Safari live gegaan. In deze versie, 1.0, ligt de nadruk vooral op het volledig blokkeren van third-party cookies. Een third-party cookie is een webcookie, dat wordt geplaatst om een internetgebruiker te identificeren op één of meerdere websites. Deze wijziging heeft veel impact gehad op de advertentiemarkt, omdat het lastiger is om profielen op te bouwen, goede conversie tracking te doen en retargeting wordt bemoeilijkt. 

Maart 2019

In maart 2019 volgt een nieuwe wijziging: ITP 2.1. Deze versie heeft ook invloed op first-party cookies. Voorbeelden zijn dat de inloggegevens van een gebruiker bewaard blijven en dat bepaalde gegevens zoals producten in het winkelmandje over sessies heen bewaard blijven. First-party cookies kunnen zowel vanuit de server als vanuit de client (door middel van javascript) gezet worden; ITP 2.1 richt zich specifiek op het gebruik van client-side cookies. A/B testen en analytics tools maken gebruik van deze client-side first-party cookies, omdat ze ervoor zorgen dat een gebruiker over sessies heen wordt herkend en dat een gebruiker steeds dezelfde variant van een A/B test blijft zien. 

Juni 2019

In ITP 2.1 wordt de geldigheid van deze first-party cookies beperkt naar zeven dagen. Komt een bezoeker na zeven dagen terug op de website, dan wordt deze bezoeker gezien als nieuw. Hierdoor wordt een nieuwe verdeling gemaakt in je A/B test, waardoor je dus niet zeker weet of de gebruiker steeds dezelfde variant heeft gezien. Ook heeft dit effect op je Analytics statistieken. De gebruiker wordt na zeven dagen dus als nieuw gezien, waardoor het aantal unieke gebruikers aanzienlijk stijgt. 

In ITP 2.2, de versie die in juni 2019 live is gegaan, wordt het gebruik van first-party cookies nog verder beperkt. Wanneer een gebruiker vanaf een website komt die door Safari als cross-site tracking domein wordt gekenmerkt (zoals Facebook, Google etc.) en de url bevat een query parameter of hash-fragment, dan wordt de cookieduur verkort naar één dag in plaats van zeven dagen. 

Wat brengt de toekomst?

Inmiddels worden we na versie 2.1 en 2.2 nu alweer geconfronteerd met ITP versie 2.3, en daar zal het niet bij blijven. De hoogste tijd dus om eens goed stil te staan bij de gevolgen van ITP voor A/B testen en mogelijke manieren om met deze gevolgen om te gaan.

Daarnaast zijn ook andere browsers bezig om beperkingen op te leggen aan first- en third-party cookies. Clearcode heeft een overzichtelijk artikel geschreven over de omgang met cookies door verschillende browsers.

Impact van ITP op analytics data 

Online Dialogue werkt voor verschillende klanten in verschillende markten en heeft onderzoek gedaan naar de impact van ITP op analytics data. Het bedrijf heeft bij twaalf Google Analytics accounts gekeken naar het effect op het aantal nieuwe gebruikers binnen Safari, vergeleken met de overige browsers. Na de invoering van zowel versie 2.1 en 2.2 kan een aanzienlijke stijging worden verwacht. Gebruikers worden namelijk na zeven óf één dag als nieuwe bezoeker gelabeld. 

In onderstaande grafiek zie je dat dat inderdaad het geval is. Het percentage nieuwe gebruikers is flink gestegen sinds de livegang van ITP 2.1 en 2.2. Deze stijging zien we vooral bij bedrijven waar het aantal terugkerende gebruikers al groot is. Bij de rest van de browsers zien we deze stijging niet, maar zien we juist een lichte daling.

Wat betekent deze stijging? 

Deze stijging laat zien dat ITP een grote impact heeft op de kwaliteit van je data. Immers, gebruikers die voorheen nog herkend werden over sessies heen worden nu als unieke gebruiker gezien. Daarnaast wordt deze gebruiker opnieuw verdeeld binnen een A/B test als hij later dan zeven dagen of zelfs één dag terugkomt op de website. Dit vervuilt je A/B test data waardoor het lastiger wordt om een effect te vinden. Ook je conversie attributie model zal hier last van hebben. Het wordt immers lastiger om de gebruiker aan de oorspronkelijke bron te koppelen als de tijd tussen de bezoeken langer is dan één of zeven dagen. 

Organisaties die gebruik maken van analytics en A/B-test resultaten om inzicht te krijgen in het gedrag van hun klant zullen op zoek moeten gaan naar oplossingen vanwege de wijzigingen in ITP.