De aanpak voor Integrated Testing 

In het vorige deel is beschreven dat server-side testen ten opzichte van client-side testen resulteert in een betere user experience (UX) en kwaliteit van testen. Hoewel ook server-side testen beperkingen kent heb je zelf de controle en kun je invloed uitoefenen. In dit laatste deel lees je hoe Integrated Testing deze beperkingen wegneemt en meer mogelijkheden biedt om elke aanpassing op de website te valideren.

Integrated Testing, elke verandering meten

In tegenstelling tot client-side en server-side A/B testing tools bestaat Integrated Testing niet als ‘kant-en-klaar’ product. Zo zijn er geen leveranciers die Integrated Testing als product verkopen. Integrated Testing is namelijk een platform dat je als organisatie zelf dient te ontwikkelen en volledig kunt afstemmen op je wensen en behoeften. Er zijn al diverse organisaties in de Nederlandse markt die over een dergelijk platform beschikken en daar dagelijks voordeel van hebben.

Van traditionele webservers naar cloud hosting

Integrated Testing vereist een andere manier van webhosting. Het gebruik van traditionele webservers, een groep van nodes achter een load balancer, voldoet niet. Dit concept vraagt om hosting in de cloud die virtueel en daarmee zeer schaalbaar is.

Features branches in productie testen

Websites worden vaak met behulp van versiebeheer ontwikkeld. Wat in productie staat noemen we een master branch, cloud hosting is virtueel en schaalbaar om ook feature branches in productie te nemen. Branches worden gebruikt om verschillende features te ontwikkelen in geïsoleerde omgevingen, los van elkaar. Een feature branch is een kopie van de master branch die is voorzien van de nieuwe feature. Deze feature branch wordt als variant naast de master branch (control) in productie getest. Binnen een traditionele serveromgeving vereist elk feature branch één of meerdere nodes (afhankelijk van de benodigde capaciteit) wat ten koste gaat van de schaalbaarheid van de master branch.

Met Integrated Testing kun je elke feature, ofwel elke verandering, binnen je website testen. Van kleine features waarbij alleen de front-end van een pagina wordt aangepast qua content, design of functionaliteit (wat we kennen van client-side A/B testen). Tot grote features als een nieuw template voor alle productdetailpagina’s, een nieuwe check-out of een compleet nieuw design die als sitewide feature wordt doorgevoerd.

Een load balancer om het verkeer te splitsen

Verder is een geavanceerde load balancer noodzakelijk om het verkeer te splitsen en cookies te plaatsen zodat gebruikers de feature of master branch blijven zien bij terugkerende bezoeken aan de website.

Wanneer uit de resultaten van de experimenten blijkt dat features succesvol zijn, kunnen ze met de master branch worden samengevoegd. Maar de wijze waarop dit wordt toegepast kan verschillen. Elke organisatie hanteert een eigen aanpak voor de ontwikkeling en het in productie nemen van nieuwe of gewijzigde features.

Totaal datagedreven platform management

Het resultaat van Integrated Testing is het beheer van een totaal datagedreven online platform waarmee je kunt A/B-testen zonder de beperkingen van client-side tooling en de mogelijkheid hebt om je experimenten op andere metrics dan alleen conversie af te
rekenen.

Toepassing van client-side A/B testing tooling is een goede optie voor het verkennen van A/B-testing en live validatie. Maar wees je bewust van de beperkingen, het is geen langetermijnoplossing.

Er is een trend gaande richting server-side testing omdat deze vorm van testen  qua UX en kwaliteit van testen in vergelijking met client-side tooling verbeteringen levert. Voor veel organisaties is server-side testen een goede oplossing, maar een tussentijdse oplossing voor organisaties die alles, elke feature van klein tot groot, en van eenvoudig tot complex willen testen.

Over de auteur: Sander Heilbron is principal consultant bij OrangeValley.