-

Testtools getest: Optimize 360, VWO en Optimizely

Enige tijd geleden kondigde Google Optimize 360 aan. Een ontzettend bruikbare, professionele A/B-testtool, vergeleken met het voorgaande en beperkte Google Content Experiments. De tool zal steeds verder uitgerold worden en de verwachting is dat Optimize 360 een sterke concurrent wordt van de twee ‘heersers’ in de Nederlandse markt: Optimizely en VWO. Betekent dit nu dat je straks direct moet overstappen naar de testtool van deze datagigant? Absoluut niet. Wij zetten onze ervaringen met Optimize 360, Visual Website Optimizer en Optimizely (X) voor je op een rij.

In een markt waarin er eigenlijk maar drie grote (client-side) testtools zijn, is het opvallend dat er relatief weinig kennis bestaat over de verschillen tussen Optimizely, VWO en ‘nieuwkomer’ Google Optimize 360. De keuze voor een tool die past bij je huidige en toekomstige organisatiestructuur, wensen, budget én die je moet gaan helpen je doelstellingen te behalen maak je immers niet licht. Op basis van onze ervaringen kunnen we je helpen een gefundeerde keuze te maken.

  1. Functionaliteiten

Alle drie de testtools bezitten vrijwel alle (basis-)functionaliteiten die een testtool moet hebben. Verschillen zijn voornamelijk merkbaar in de gebruiksvriendelijkheid van deze functionaliteiten en de voorkennis die je nodig hebt bij het uitvoeren van een test. Optimizely X scoort veruit het beste in deze categorie.

Je merkt dat Optimizely voornamelijk werkt met bedrijven die testen hoog in het vaandel hebben staan. De complexere functionaliteiten, zoals het kunnen wijzigen van HTML, Javascript of CSS, en het doen van testen op dynamische elementen, zijn goed uitgedacht en werken fijn. De wat simpelere functionaliteiten, zoals de interface, zijn voor de nieuwe tester wellicht wat minder intuïtief, al hebben ze hier met Optimizely X ten opzichte van de eerdere variant ook al grote stappen in gezet. Optimize 360 en VWO lopen wat betreft het doen van wijzigingen in de code echt achter, waardoor developers het vaak fijner vinden om met Optimizely te werken.

Groot nadeel van Optimize 360 is echter dat het op dit moment niet mogelijk is om testen in te plannen en dat deze tool geen ondersteuning biedt aan dynamische elementen op single page websites (websites met maar één pagina, vaak met veel interactieve, dynamisch ingeladen elementen).

  1. Targeting & Meetbaarheid

Naast het simpelweg aan kunnen maken van testen is het belangrijk dat de tool ondersteuning biedt aan het kunnen segmenteren/targeten van bepaalde bezoekers en het instellen van doelen die voor je test relevant zijn. Je wilt immers ook relevante data verkrijgen uit de testen die je doet. Optimize 360 heeft hier als grote voordeel dat het volledige integratie biedt met Google Analytics, waardoor alle segmenten en events die je hier hebt ingesteld direct in Optimize 360 te gebruiken zijn.

Optimizely en VWO bieden ook (uitgebreide) mogelijkheden om te targeten en events in te stellen, maar dan gebruik je wel de opties binnen de tools zelf. Dit vergt iets meer oefening. Groot nadeel van VWO is dat het vrij lastig is custom events te tracken, waardoor je vaak toch een integratie met Google Tag Manager nodig hebt om je data in GA te kunnen vergelijken.

  1. Testmogelijkheden

Wanneer je inzoomt op de testmogelijkheden van de drie tools zie je dat Optimizely ver boven de concurrentie uitsteekt. Optimizely is een tool voor klanten die naast ‘standaard’ A/B-testen ook complexere multivariatie- of multi-page testen willen uitvoeren (een test waarbij je na het zien van variant 1 van pagina 1 ook variant 1 van pagina 2 te zien krijgt). Daarnaast biedt Optimizely geavanceerdere mogelijkheden om gepersonaliseerde campagnes op te stellen. Hoewel VWO en Optimize 360 hier minder opties in bieden, zijn het nog steeds prima tools voor de beginnende tester die deze complexere functionaliteiten nog niet gebruikt.

  1. Integratie met andere tools

Om meer inzichten te halen uit je testdata is integratie met andere tools die je gebruikt ontzettend handig. Zo zou je bijvoorbeeld bepaalde campagnes kunnen monitoren aan de hand van je testresultaten, of je test kunnen koppelen aan ClickTale of Hotjar om extra kwalitatieve informatie te verkrijgen. Optimizely biedt hier de meest geavanceerde mogelijkheden, want met deze tool is een integratie met vrijwel alle grote partijen in de markt mogelijk.

Waar bij Optimize 360 een directe koppeling met Google Analytics is gerealiseerd en je dus direct je testresultaten over alle rapporten kunt vergelijken, heb je bij VWO en Optimizely nog wel een extra koppeling nodig om dit te bewerkstelligen (bijvoorbeeld via Google Tag Manager).

Groot nadeel van Optimize 360 is echter dat dit ook meteen de enige integratie is die deze tool op dit moment heeft. Het is nog niet mogelijk om je data aan andere platformen te koppelen en de grote vraag is of dit in de toekomst zal veranderen (dat zijn immers vaak geen Google tools). Voordeel van Optimize 360 is wel dat je binnen de tool je resultaten op een fijne manier kunt concluderen. Optimizely biedt hiervoor nog net wat geavanceerdere mogelijkheden, maar daartegenover zie je dat VWO in dit opzicht de boot compleet heeft gemist.

  1. Support en kosten

Van de drie tools die we hier bespreken is Optimizely verreweg het duurst. Wanneer we een vergelijking maken van één account en ongeveer 300.000 bezoekers die deelnemen aan je test, ben je bij VWO maandelijks rond de 800 euro kwijt, bij Optimize 360 zo’n 1500 euro en bij Optimizely enkele duizenden euro’s. Optimizely is qua investering dus zeker niet voor ieder bedrijf haalbaar. Voor dat geld krijg je er dan wel weer goede support voor terug. Optimizely biedt uitgebreid hulp bij het opzetten en analyseren van testen en overige vragen. Telefonisch, per e-mail, face-to-face; Optimizely biedt ondersteuning wanneer je die nodig hebt. De support van VWO bestaat slechts uit een blog en enkele webinars en van Optimize 360 is nog te weinig info beschikbaar. Bij die laatste twee sta je er dus grotendeels alleen voor wanneer je wilt starten met A/B-testen.

  1. Conclusie

Het doel van dit artikel is niet om je te vertellen wat de beste testtool is voor je bedrijf of agency. De tool die het beste bij je past is compleet afhankelijk van de mate waarin testen al in het DNA van je bedrijf zit of gaat komen. Kiest je bedrijf ervoor om een geavanceerde teststrategie te volgen waarin verschillende typen testen wenselijk zijn, het mogelijk is om uitgebreide personalisering toe te passen en hier ook goede ondersteuning voor te krijgen, dan zal Optimizely de hoge investering snel terugverdienen.

Sta je aan de start van een testtraject, wil je enkele testen op een gebruiksvriendelijke manier kunnen inregelen en data direct in GA terugzien dan is Optimize 360 een optie. Hoewel VWO deze directe integratie niet biedt, is deze wel eenvoudig te realiseren en zijn de andere mogelijkheden van deze tool een stuk geavanceerder. De schappelijke prijs is daarbij ook een plus en maakt het dus een prima alternatief voor veel MKB bedrijven.

Het belangrijkste bij het kiezen van een testtool is dat deze past bij je huidige bedrijfsproces, dat je interne (of externe) developers en CRO-specialisten er mee kunnen en willen werken en dat de testmogelijkheden die de tool biedt bijdragen aan de doelstellingen en doorontwikkeling die je bedrijf voor ogen heeft.

*) Dit artikel is geschreven in samenwerking met Marjolein Schipper, Analytics & CRO consultant bij TamTam.

Dit bericht is 173 keer gedeeld

13 Reacties

Jordy vanGent - Mollie

Uitstekende vergelijking. Wel is het zo dat je de 360 tools van Google 9/10 keer afneemt via een reseller en die ook de support functie vervult. Ook kan je terecht bij Google Optimize (zonder 360). Deze is gratis, maar qua features bijna gelijk aan 360. Voor het MKB zeker een aanrader.

Roy Lenders - Digital Operating Models

Wij gebruiken Omniconvert uit Roemenie. Super tool, heeft veel meer functionaliteit van deze 3 grotere partijen en is ook nog eens veel goedkoper. Deze 3 grotere tools worden met name gepushed door wederverkopers en implementatiepartners die er geld aan willen verdienen.

Bovendien doet zo’n tool alleen eigenlijk helemaal niets. De echte waarde zit in de hypotheses opstellen die je wilt gaan testen. Omniconvert heeft bijvoorbeeld ook een database met hypotheses die bij andere klanten waardevol zijn gebleken. Een paar maanden lang heb ik hun Roemeense consultancy team ook ons laten ondersteunen. Daar kwamen hypotheses uit, op basis van Google Analytics, die super cool waren en die ik van de standaard clubs nog niet eerder gehoord had. Kortom, ik zou vooral breder kijken als de “usual” clubs als het om dit soort tools gaat.

Maurice Beerthuyzen - Symplytics

De next step in A B Testing is dat bedrijven hun eigen tool bouwen. Vooral banken zijn hier druk mee, zodat men eindelijk ook in hun beveiligde omgeving kan testen.

Daarnaast is het tegenwoordig uitstekend mogelijk te testen via Google Tag Manager.

Als je een goede developer hebt, heeft ie de tools helemaal niet nodig.

Anniek van de Weerdhof - TamTam (Part of Dept)

Hi Jordy,

Daar heb je zeker een punt. Voor nu hebben we de betaalde versies naast elkaar gezet, omdat deze op dit moment qua functionaliteiten wat beter op elkaar aansluiten. Alhoewel je Google 360 vaak via een reseller afneemt, neemt dit niet weg dat er minder mogelijkheden zijn dan bijv. met Optimizely (support wordt dan uiteraard wel voor je geregeld). Als er wat meer achtergrondinformatie en tips en tricks komen over het gebruik van Optimize (gratis versie) kan dit zeker een goede tool worden voor het MKB.

Anniek van de Weerdhof - TamTam (Part of Dept)

Hi Roy,

Bedankt voor je reactie. Zelf zijn we nog niet bekend met de tool, maar het klinkt redelijk veelbelovend. Hoe is de support vanuit Roemenië?

Anniek van de Weerdhof - TamTam (Part of Dept) - TamTam (Part of Dept)

Hi Maurice,

Bedankt voor je reactie! Ben het met je eens dat dit uiteindelijk de ‘stip op de horizon is’, maar dit is voor veel organisaties echt nog niet haalbaar. Via Google Tag Manager is zeker ook een optie, maar wij zien juist vaak dat bedrijven moeite hebben om hun developers vrij te spelen voor het maken van test variaties. Dit speelt voornamelijk bij bedrijven waarbij (A/B) testen nog niet volledig is opgenomen in het doorontwikkelingsproces van hun website. Uiteraard vind ik dat dit veranderd moet worden, maar voor dit soort partijen zijn testtools, zoals hierboven genoemd, zeker een uitkomst.

Maurice Beerthuyzen

Dat ben ik zeker met je eens. Als je begint en heb je heb nog niet genoeg kennis in huis, is het goed om met behulp van een tool te beginnen. Tip: haal er wel altijd een a/b test specialist bij. Er worden in de beginfase juist veel fouten gemaakt ( testen met een te lage N, testen te lang of te kort laten lopen, de test opzetten via ‘drag en drop’ ipv goede code, veel te veel ineens testen etc etc). De tools bieden die insides doorgaans niet.

Leon Roet - Optimizely

Goed stuk Anniek!

Uiteraard ben ik vanuit Optimizely niet objectief, maar waar grote kansen liggen en wat ik mis in je vergelijking is de kansen op het gebied van server-side experimenteren (lees; Optimizely X Full Stack / Mobile / OTT).

Server-side experimenteren betekent: Geen impact op performance + de kans om dieper in de technologie te experimenteren, denk aan; prijs- / zoek algoritmen, feature- / product lanceringen, redesigns, nieuwe architecturen, omni channel / device marketing campagnes.

@Maurice, server-side experimenteren is ook zeker interessant voor banken welk ivm compliance redenen beperkt zijn mbt het implementeren van een 3rd party snippet met het oog op performance / security.

Maurice Beerthuyzen

@Leon, eens! Jullie hebben de vragen uit de markt goed in zicht 🙂 Ik zie qua branding wel een verschuiving op dit gebied: Optimizely meer voor de ervaren corporates die server-side willen testen ( een grotere investering), VWO voor de partijen die met minder kosten en geen behoefte aan server-side oplossingen willen testen.

Leon Roet - Optimizely

@Maurice, als je het kort door de bocht bekijkt heb je gelijk. Kijkend naar client-side (visual editor) zullen organisaties met minder budget zich altijd kritisch moeten blijven afvragen of ze kunnen steunen op test resultaten vanuit VWO. Een lagere investering kan negatieve bottom-line impact hebben als je niet goed weet wat je doet. We zien overigens ook veel voormalig VWO klanten welk niet in staat zijn om goed single page applicaties te experimenteren.

Voor zover genoeg Optimizely geluid / hijacking 😉

Maurice Beerthuyzen

Precies, zie mijn reactie eerder in de threat (10 maart). Testen zonder kennis, is veel gevaarlijker dan helemaal niet testen 🙂

Coen Hazelhoff - Oracle

Dit onderzoek is niet compleet zonder een vergelijk met Maxymiser:
https://www.oracle.com/marketingcloud/products/testing-and-optimization/index.html

Anniek van de Weerdhof - TamTam (Part of Dept)

Hey Leon,

Bedankt voor je reactie! Helemaal met je eens dat server-side testen grote voordelen biedt t.o.v. client-side experimenteren, echter is dit voor veel partijen niet haalbaar vanwege gebrek aan development capaciteit en/of hoogte van de investering. Voor bedrijven die starten met testen (hier komt met name de vraag vandaan welke tool ze moeten gebruiken) is het gebruik van client-side tools sneller haalbaar, al moeten ze inderdaad intern de kennis hebben om dit goed op te zetten of een bureau inschakelen die ze hierbij kan helpen. Testen an sich moet ook nooit een doel zijn, het is een manier om kennis te vergaren over het gedrag van bezoekers op je website. Des te belangrijker dus dat je eerst goed vooronderzoek doet, testen op een juiste manier inregelt en ook op de juiste wijze testresultaten weet te analyseren en interpreteren :).

Plaats een reactie

Uw e-mailadres wordt niet op de site getoond