‘Thuiswinkel Waarborg zorgt voor meer omzet’

Waarom wordt hier een onderzoek uit december 2011 geplaatst? Beetje laat niet?

En ik heb zeer sterke twijfels bij de uitkomsten. Als ik rekening houdt met een onbetrouwbaarheidsdrempel van 5% zijn de uitkomsten niet statistisch significant. Alleen als ik uitga van 350 bezoeker per variant (dus een conversie% van 40-46%) krijg ik het significant.

Als die zijn website eens goed zou aanpakken zou die nog meer conversie genereren.

Ben benieuwd of dat de uitkomst hetzelfde is bij een gerenommeerd merk zoals bv Coolblue of Wehkamp. Met andere woorden, het Thuiswinkel logo is wat mij betreft alleen relevant voor starters en onbekende webwinkels.. en die mogen daar dan dik voor betalen.

Ik zou eens een A/B test doen met de verschillende keurmerken en dan zien wie het meest converteert. Thuiswinkel, of Webshop keurmerk. Zet dan de uitkomst eens tegen over het abonnementsgeld en ‘wat ze voor je doen’.. wedden dat het dan een ander beeld geeft!

@André, De aantallen zijn zoals gemeten! Niet meer, niet minder.

Meten doe je met een doel. In mijn geval om een vraag te beantwoorden over het nut en de noodzaak van het Thuiswinkel Waarborg voor de website Herensokken.nl.

Je hebt gelijk, meer metingen geven trefzekere uitkomsten!!! En daar voeg ik aan toe: dat is zeer belangrijk als de gemeten verschillen klein zijn. Heeft meer meten hier zin? De vraag was: heeft het voor Herensokken.nl zin om geld en tijd te besteden aan het waarborg?

Stel dat jij gelijk hebt, en de cijfers zijn niet 95% zeker zoals berekend, maar wijken af, zoals jij stelt, met tot 40-45%. Zelfs in dat geval zal het sommetje een duidelijk positief antwoord geven. Voor mij waren de uitkomsten voldoende zeker om zelfs met enige onzekerheid te stellen dat de baten in positieve verhouding staan tot de investering voor het Waarborg op de site Herensokken.nl.

Kortom: met voldoende zekerheid kon ik een beslissing nemen en dat is ook gebeurd. Hoogste tijd om wat anders te gaan meten.

@Marcel, gelukkig hoeft Herensokken.nl lang niet zoveel te betalen als de grote webwinkels. De bijdrage is namelijk gerelateerd aan de omzet. De kosten voor certificering zijn naar ik begreep voor alle leden wel gelijk.

“Testen met andere keurmerken”. Ja, ik heb ook wel eens met een ander keurmerk getest waarvoor ook een certificering doorlopen is. En anders dan jij verwacht: dat leverde een afnemende omzet op. Dus daar heb ik afscheid van genomen. Ben het geheel met je eens: Testen is erg interessant!!!

De genoemde en genommeerde grote leden zullen ongetwijfeld zelf meten en bepalen of het Waarborg voor hun interessant is. En aangezien ze lid zijn, lijkt een weddenschap mij overbodig.

Als aanvulling zou ik dan willen melden dat ik tientallen testen heb gezien die in de eerste weken significant lijken te zijn. Dat heeft puur te maken met het te kleine volume om echt betrouwbaar een uitspraak te kunnen doen. Grafieken met voorlopige uitslagen springen alle kanten op en nivelleren pas na een bepaalde periode. Zelfs daarna kan het op de nog wat langere termijn nog wel eens veranderen.

Als je in die eerste periode de test al stopt met het argument “dit is wel heel duidelijk” heb je statistisch geen significantie en lijk je een hint naar de winnaar al genoeg te vinden. Dat zeg je ook door te zeggen dat je met “enige onzekerheid” iets stelt. In mijn ogen is dat absoluut niet de manier om een test te doen.

Wat ik hier mis, is in de testen ( a/b ) wáár je het logo plaatst. Als je het logo in de header en/of footer plaatst zal dat in het onderbewustzijn van een consument mee kunnen spelen. Wanneer je het bij elke stap in de checkout flow direct in het gezichtsveld plaatst ( samen met andere zekerheden ) helpt dit gegarandeerd beter. De vraag is alleen wat er gebeurt als je die zekerheden zonder logo communiceert. Wie het getest heeft mag het mij mailen, of hier plaatsen uiteraard. Blijft leuk dit soort onderzoek.

@André, dank voor je reactie. Je geeft aan dat je opkijkt van “enige onzekerheid”. Er is altijd enige onzekerheid! Sterker nog, als absolute zekerheden beweerd worden, dan ga ik het ongeloofwaardig vinden. Statistiek bestaat uit het inzichtelijk maken van onzekerheden zonder ze weg te nemen.

Ter geruststelling. Ja, ik heb meerdere metingen gedaan, ook om deze meettechniek te testen, waaronder een nulmeting. Inderdaad springt de uitslag eerst voordat deze stabiliseert. Elke meting bevat een onzekerheid die asymptomisch afneemt met het aantal metingen. Met een berekening bepaal je als onderzoeker de zekerheid waarmee de uitkomsten geïnterpreteerd mogen worden. Dit vervangt het onderbuikgevoel.
Ik heb gekozen voor een 95% zekerheidsgebied bij een standaardnormale verdeling (erg gebruikelijk!). Dat betekent dat er een kans van 2,5% is dat de meting onder de margegrens uitkomt, een kans van 1 op 40. Het aantal metingen en de gewenste zekerheid vormen de invoer van de berekende marge. Omdat de ondergrens een flink verschil aangeeft met het alternatief -geen waarborg-, kan ik met (zeer) grote zekerheid aangegeven dat het Waarborg een significant positief effect heeft op de website van Herensokken.nl.

@Jeroen, begrijp ik goed dat jij naar een test zoekt zonder logo, maar met de teksten? En dit versus de tegenovergestelde situatie. Leuk idee voor een test!

Is het niet gewoon een kwestie van split test te berekenen met 95% betrouwbaarheid? Bijv. via http://www.splittestcalculator.com/ Dus gewoon aantal bezoekers met logo en aantal bezoekers zonder logo en dan aantal conversies meten?

Het is beter om een A/B tool te gebruiken, want als je deze week het logo uitzet en volgende weer aanzet en tegelijk wordt het stuk kouder, dan zullen de verkopen ook stijgen.

Hoe graag ik Joos gelijk zou willen geven – Thuiswinkel,org is een klant van mij – toch heeft André een punt.

Heel herkenbaar daarin is dat met name experimenten met kleine volumes de eerste weken statistisch significante uitkomsten laten zien.

Als online conversie copywriter heb ik wel eens voorbarig lopen juichen omdat mijn variant overtuigend de winnaar leek te worden met een zekerheid van meer dan 90% volgens Google Analytics. Op de langere termijn echter ontstaat er een evenwichtiger en – dus meer betrouwbaar – beeld. (Dat was soms balen)

Het is vaak slim om experimenten ongeacht het bezoekvolume 2 tot 3 maanden te laten doorlopen. Zo filter je offline elementen zoals feestdagen en btw-verhogingen eruit. Althans, dat probeer je.