Verweer Multiscope tegen kritiek rangschikking

Wij hebben enige tijd een abonnement gehad op de rapporten van Multiscope, maar vanwege de grote verschillen tussen het surfgedrag dat wij op onze sites zien en de cijfers die Multiscope presenteert is dit inmiddels beeindigd. Wat wij met name als niet-kloppend constateren is:- de volstrekte afwzeigheid van erotisch-getinte sites en sites die betrekking hebben op bijvoorbeeld MP-3 en Warez. Wellicht zijn deze met opzet uitgesloten, maar over het uitsluiten van websites zijn wij dan in het ongewisse gelaten.- onze meest bekende site, http://www.inform.nl, is op volstrekt miraculeuze wijze 'opeens' in de top-100 gekomen, terwijl de bezoekersaantallen daar helemaal geen aanleiding toe gaven (of al lang hadden moeten geven). Bovendien zijn relatieve verschillen tussen genoemde site en andere sites, die met dezelfde software meten, onjuist in de Multiscope-onderzoeken terug te vinden.- In de onlangs samengestelde top-50 staan nrc.nl en volkskrant.nl boven goudengids.nl. Hoewel wij het nrc en de volkskrant heel veel bezoekers toewensen, houden wij dit voor volslagen onmogelijk. 

Ik vraag mij dan toch af hoe het kan dat Multiscope op alle pagina's van Gratiz.nl kan tellen .. ( terwijl zij zelf aangeven hun ranglijsten te baseren op het bezoek per maand door de panelleden, en hierbij 1 keer per site rekenen ) Dat hele onderzoek is op een klein groepje gebaseerd wat absoluut niet relevant is. Tuurlijk zijn startpagina en ilse bekend en worden zeer goed bezocht, maar de wisselingen die plaatsvinden in de maandelijkse ranglijsten gaan werkelijk nergens over… Daar komt bij dat Multiscope wel arrogant kan zeggen dat zij hun onderzoek degelijk vinden, maar feit blijft dat er nog geen algemeen gehanteerd maatstaf is qua bereik. Vraag een willekeurige partij hoe diegene meet dan heeft de een het over hits (…), de ander over pageviews, weer een ander over bezoekers, en weer een ander over unieke bezoekersMultiscope zal dit wel even regelen .. hou toch op Zolang dit onderzoek niet representatief is is het zwart gebakken lucht. En echt niet zo toonaangevend als zij zelf denken Groet

Multiscope telt achterliggende pagina's? Hoe kan Multiscope dan zeggen dat bijvoorbeeld gratiz.nl 2,1 mio bezoekers (let wel: bezoekers) heeft gerealiseerd met als argument dat ze de achterliggende pagina's meetellen? Als ze de achterliggende pagina's meetellen zijn dit helemaal geen bezoekers maar pageviews. Dit betekent dus dat een site met weinig unieke bezoekers maar wel veel pageviews hoger op de lijst eindigt dan een site met veel bezoekers en weinig pageviews. Sommige sites genereren gemiddeld slechts 2 pageviews per bezoeker en anderen gemiddeld 20 pageviews per bezoeker. Geen wonder dat de lijst van geen kant klopt. Multiscope claimt dat ze bereik meten. De definitie van bereik is het aantal unieke bezoekers aan een site en zeker niet het aantal gegenereerde pageviews. Als ze zeggen dat hun methodiek is gebaseerd op het meten van achterliggende pagina's hanteren ze een onjuiste benadering. En dan nog de arrogantie om de schijn op te wekken dat we het allemaal niet zo goed begrijpen en dat alles heel degelijk in elkaar steekt. Volgens mij halen ze juist zelf alles door elkaar….

Een outside-in onderzoek wijkt altijd af van een inside-out onderzoek. Zolang er geen goede algemene rapportage is van ALLE sites zelf (inside-out) die op consistente wijze wordt aangeleverd, moet je dus altijd uitgaan van dit soort onderzoeken. De meetmethodiek van Multiscope is in ieder geval, in tegenstelling tot het geschreeuw van alle andere sites, altijd consistent. De resultaten fluctueren uiteraard. Alles hangt dus af van de representatieve samenstelling van het panel! Multiscope had twee problemen: 1. Een relatief klein panel (700), hetgeen inmiddels opgelost is2. Aanmeld procedure (volgens mij nog niet opgelost) Punt 2 heeft als probleem dat als mensen zichzelf aan kunnen melden. Dit trekt een bepaald type mens aan. Vaak internet-savvy, die naar een bepaalde soort sites trekt. Dit geeft een vertekend beeld. Een "Jan met de Pet" heeft geen weet van dit soort testen en zal dus niet meedoen. Multiscope zou pro-actief at random een panel samen moeten stellen om een representatieve groep te krijgen. In de states heb je random dialers die cellen in het land bellen. Sommigen huishoudens worden alleen in de ochtend gebeld en andere alleen 's avonds om te voorkomen dat alleen tweeverdieners of werkende vrijgezellen in het panel zitten. Dit is wellicht een betere methodiek, maar ook een peperdure. Nielsen zou daar eventueel iets voor kunnen bieden. Chi lueng Chiu – Commercieel managerVeronica Digitaal

Een panel dat bestaat uit 1.500 leden is toch niet representatief voor de gehele Nederlandse internetbevolking? Onlangs kreeg ik zelf een email of ik mee wilde werken aan het Multiscope internetonderzoek. Voor fl 2,50 per maand registreren ze al je digitale voetsporen. Uitbetalen gebeurt elk half jaar, zodat een panellid zijn privacy voor zes maanden weggeeft voor slechts fl 15,-! Niet gek dat het Multiscope-panel maar uit 1.500 leden bestaat…

Lijstjes zijn leuk en horen erbij. Natuurlijk ben je blij als je iedere dag in de top 5 van de Nedstat top 100 staat. En natuurlijk snap je er niets van als je niet in de Multiscope top 50 staat, als daar sites in staan die je ruim achter je laat in de Nedstat top 100. Lijstjes zijn leuk, vooral in oliebollentijd. Kan Multiscope aangeven wanneer het aantal pannelleden weer wordt vernieuwd en verdubbeld ? Met de volgende trendbreuk moet het ons lukken. De aantallen bezoekers en pageviews hebben we volgens mij wel. Veel plezier en een gelukkig nieuwjaar. 

Het feit dat Multiscope niet inhoudelijk wil reageren op de stelling zegt op zichzelf staand al voldoende. Zeker als hierbij in overweging wordt genomen dat zij in het geval van publicatie's door derden, bewezen hebben hier een stuk minder moeite mee te hebben. Tevens is het boeiend vast te stellen dat een partij de definitie van haar eigen onderzoek tegenspreekt ten aanzien van unieke bezoekers c.q. pageviews. De mening samenvattend van een groot gedeelte van de gebuikers van het visiscan rapport is dan ook zeer eenvoudig: de cijfers dienen met een grote hoeveelheid zout te worden verwerkt, edoch gezien het gebrek aan alternatieven gebruiken we ze als 1 van de referentiekanalen om te bepalen hoe de (thuis)markt in Nederland er voor staat. Feitelijk dus niet veel anders dan de conclusie's die wij over het gemmidelde rapport hebben wat wij als marketeers te verwerken krijgen. Het feit dat Multiscope zeer selectief is met reageren op publicatie's, afhankelijk van de voor-nadelen levert mijn inziens deze 'anti-multiscope' houding op. In een markt welke constant aan wijzigingen onderhevig is, en waarbij statistische waarheid nog moeilijker ligt dan in de non-digitale wereld, had een realistische reactie door multiscope deze houding kunnen voorkomen. Leuk detail is dat men ondanks de weigering om inhoudelijk te reageren op de reactie's, wel even meeneemt dat de meetmethode van Nedstat niet correct is. (dus toch even reageren ???) Het probleem van het onderzoek ligt hem zoals al meerdere malen aangegeven in de omvang c.q. samenstelling van de panelleden, als ook het feit dat multiscope er blijkbaar zelf nog niet helemaal uit is wat nu de definitie is van een unieke bezoeker. In afwachting van betere cijfers! 

Al dat geneuzel over die cijfers en wie wat op hoe doet altijd…alleen maar zeiken, zeiken en nog eens zeiken… DOE er verdomme zelf dan eens iets aan! Bijna alle -negatieve- reacties op (inderdaad niet altijd goede) startups, meningen of nieuwe iniatieven lijken door dezelfde mensen te worden geschreven (de Heer van Vliet met ruime voorsprong!) die notabene zelf in de branche werkzaam -schijnen- te zijn. Vergeet niet dat Emerce een spreekbuis is voor de hele branche, en waar eenieder de mogelijkheid heeft iets van zich te laten horen. Maar waar ik nu even over wil zeiken is dat als iemand iets te zeiken heeft, hij of zij met een goed alternatief moet komen of onderneem gewoon actie! Want we weten het toch allemaal goed?? Om even terug te komen op bovenstaand artikel; 'Kan iemand mij vertellen hoe de bereikscijfers + waarderingscijfers van het medium televisie gemeten worden?'Het schijnt dat hier 10+ miljoen, wat zeg ik, 100+ miljoen gulden in omgaat ALLEEN aan advertentiegelden…dan baseer ik m'n budget nog liever op een panel van 1500 mensen (op een freq. userbase van nog geen 5 miljoen) Ach, we zijn nog maar pas begonnen.

Gewoon een nadenkertje… Waar staat de NVM.nl met zijn 25 miljoen PAGEviews per maand? 1, 2, 3, 4, 5 etc. Zo tel je en anders niet.

Kijk- en luistercijfersonderzoek op het medium televisie en radio gebeuren vaak in een kleiner pannel dan het panel dat Multiscope op dit moment tot zijn beschikking heeft. Ik sta dan ook te kijken van een stelling die beweert dat het Multiscope onderzoek minder nauwkeurig is dan kijk- en luistercijfers. Bij gebrek aan andere "objectieve" meetmethodes is het Multiscope onderzoek het enige doorlopende onderzoek dat voorradig is EN nauwkeuriger dan gangbare kijk- en luisteronderzoeken binnen de RTV branche. Ik sta er steeds weer van te kijken hoe Radio- en televisiezenders staan te schreeuwen dat er nu "wel 8 miljoen mensen" naar hun programma hebben gekeken/geluisterd terwijl ze dit concluderen uit een steekproefomvang binnen een panel dat nog geen duizental personen telt. Het enige wat je je kunt afvragen bij het Multiscope onderzoek is inderdaad de representativiteit van de respondenten. Een aanmeldprocedure werkt selectiviteit in de steekproef inderdaad in de hand, anderzijds gebeurt dit in andere kijk- en luisteronderzoeken ook en daar horen we al 50 jaar niemand over. Peter van Dongen