Testtools getest: Optimize 360, VWO en Optimizely

Enige tijd geleden kondigde Google Optimize 360 aan. Een ontzettend bruikbare, professionele A/B-testtool, vergeleken met het voorgaande en beperkte Google Content Experiments. De tool zal steeds verder uitgerold worden en de verwachting is dat Optimize 360 een sterke concurrent wordt van de twee ‘heersers’ in de Nederlandse markt: Optimizely en VWO. Betekent dit nu dat je straks direct moet overstappen naar de testtool van deze datagigant? Absoluut niet. Wij zetten onze ervaringen met Optimize 360, Visual Website Optimizer en Optimizely (X) voor je op een rij.

In een markt waarin er eigenlijk maar drie grote (client-side) testtools zijn, is het opvallend dat er relatief weinig kennis bestaat over de verschillen tussen Optimizely, VWO en ‘nieuwkomer’ Google Optimize 360. De keuze voor een tool die past bij je huidige en toekomstige organisatiestructuur, wensen, budget én die je moet gaan helpen je doelstellingen te behalen maak je immers niet licht. Op basis van onze ervaringen kunnen we je helpen een gefundeerde keuze te maken.

1. Functionaliteiten

Alle drie de testtools bezitten vrijwel alle (basis-)functionaliteiten die een testtool moet hebben. Verschillen zijn voornamelijk merkbaar in de gebruiksvriendelijkheid van deze functionaliteiten en de voorkennis die je nodig hebt bij het uitvoeren van een test. Optimizely X scoort veruit het beste in deze categorie.

Je merkt dat Optimizely voornamelijk werkt met bedrijven die testen hoog in het vaandel hebben staan. De complexere functionaliteiten, zoals het kunnen wijzigen van HTML, Javascript of CSS, en het doen van testen op dynamische elementen, zijn goed uitgedacht en werken fijn. De wat simpelere functionaliteiten, zoals de interface, zijn voor de nieuwe tester wellicht wat minder intuïtief, al hebben ze hier met Optimizely X ten opzichte van de eerdere variant ook al grote stappen in gezet. Optimize 360 en VWO lopen wat betreft het doen van wijzigingen in de code echt achter, waardoor developers het vaak fijner vinden om met Optimizely te werken.

Groot nadeel van Optimize 360 is echter dat het op dit moment niet mogelijk is om testen in te plannen en dat deze tool geen ondersteuning biedt aan dynamische elementen op single page websites (websites met maar één pagina, vaak met veel interactieve, dynamisch ingeladen elementen).

2. Targeting & Meetbaarheid

Naast het simpelweg aan kunnen maken van testen is het belangrijk dat de tool ondersteuning biedt aan het kunnen segmenteren/targeten van bepaalde bezoekers en het instellen van doelen die voor je test relevant zijn. Je wilt immers ook relevante data verkrijgen uit de testen die je doet. Optimize 360 heeft hier als grote voordeel dat het volledige integratie biedt met Google Analytics, waardoor alle segmenten en events die je hier hebt ingesteld direct in Optimize 360 te gebruiken zijn.

Optimizely en VWO bieden ook (uitgebreide) mogelijkheden om te targeten en events in te stellen, maar dan gebruik je wel de opties binnen de tools zelf. Dit vergt iets meer oefening. Groot nadeel van VWO is dat het vrij lastig is custom events te tracken, waardoor je vaak toch een integratie met Google Tag Manager nodig hebt om je data in GA te kunnen vergelijken.

3. Testmogelijkheden

Wanneer je inzoomt op de testmogelijkheden van de drie tools zie je dat Optimizely ver boven de concurrentie uitsteekt. Optimizely is een tool voor klanten die naast ‘standaard’ A/B-testen ook complexere multivariatie- of multi-page testen willen uitvoeren (een test waarbij je na het zien van variant 1 van pagina 1 ook variant 1 van pagina 2 te zien krijgt). Daarnaast biedt Optimizely geavanceerdere mogelijkheden om gepersonaliseerde campagnes op te stellen. Hoewel VWO en Optimize 360 hier minder opties in bieden, zijn het nog steeds prima tools voor de beginnende tester die deze complexere functionaliteiten nog niet gebruikt.

4. Integratie met andere tools

Om meer inzichten te halen uit je testdata is integratie met andere tools die je gebruikt ontzettend handig. Zo zou je bijvoorbeeld bepaalde campagnes kunnen monitoren aan de hand van je testresultaten, of je test kunnen koppelen aan ClickTale of Hotjar om extra kwalitatieve informatie te verkrijgen. Optimizely biedt hier de meest geavanceerde mogelijkheden, want met deze tool is een integratie met vrijwel alle grote partijen in de markt mogelijk.

Waar bij Optimize 360 een directe koppeling met Google Analytics is gerealiseerd en je dus direct je testresultaten over alle rapporten kunt vergelijken, heb je bij VWO en Optimizely nog wel een extra koppeling nodig om dit te bewerkstelligen (bijvoorbeeld via Google Tag Manager).

Groot nadeel van Optimize 360 is echter dat dit ook meteen de enige integratie is die deze tool op dit moment heeft. Het is nog niet mogelijk om je data aan andere platformen te koppelen en de grote vraag is of dit in de toekomst zal veranderen (dat zijn immers vaak geen Google tools). Voordeel van Optimize 360 is wel dat je binnen de tool je resultaten op een fijne manier kunt concluderen. Optimizely biedt hiervoor nog net wat geavanceerdere mogelijkheden, maar daartegenover zie je dat VWO in dit opzicht de boot compleet heeft gemist.

5. Support en kosten

Van de drie tools die we hier bespreken is Optimizely verreweg het duurst. Wanneer we een vergelijking maken van één account en ongeveer 300.000 bezoekers die deelnemen aan je test, ben je bij VWO maandelijks rond de 800 euro kwijt, bij Optimize 360 zo’n 1500 euro en bij Optimizely enkele duizenden euro’s. Optimizely is qua investering dus zeker niet voor ieder bedrijf haalbaar. Voor dat geld krijg je er dan wel weer goede support voor terug. Optimizely biedt uitgebreid hulp bij het opzetten en analyseren van testen en overige vragen. Telefonisch, per e-mail, face-to-face; Optimizely biedt ondersteuning wanneer je die nodig hebt. De support van VWO bestaat slechts uit een blog en enkele webinars en van Optimize 360 is nog te weinig info beschikbaar. Bij die laatste twee sta je er dus grotendeels alleen voor wanneer je wilt starten met A/B-testen.

6. Conclusie

Het doel van dit artikel is niet om je te vertellen wat de beste testtool is voor je bedrijf of agency. De tool die het beste bij je past is compleet afhankelijk van de mate waarin testen al in het DNA van je bedrijf zit of gaat komen. Kiest je bedrijf ervoor om een geavanceerde teststrategie te volgen waarin verschillende typen testen wenselijk zijn, het mogelijk is om uitgebreide personalisering toe te passen en hier ook goede ondersteuning voor te krijgen, dan zal Optimizely de hoge investering snel terugverdienen.

Sta je aan de start van een testtraject, wil je enkele testen op een gebruiksvriendelijke manier kunnen inregelen en data direct in GA terugzien dan is Optimize 360 een optie. Hoewel VWO deze directe integratie niet biedt, is deze wel eenvoudig te realiseren en zijn de andere mogelijkheden van deze tool een stuk geavanceerder. De schappelijke prijs is daarbij ook een plus en maakt het dus een prima alternatief voor veel MKB bedrijven.

Het belangrijkste bij het kiezen van een testtool is dat deze past bij je huidige bedrijfsproces, dat je interne (of externe) developers en CRO-specialisten er mee kunnen en willen werken en dat de testmogelijkheden die de tool biedt bijdragen aan de doelstellingen en doorontwikkeling die je bedrijf voor ogen heeft.

*) Dit artikel is geschreven in samenwerking met Marjolein Schipper, Analytics & CRO consultant bij TamTam.