-

Omgaan met Big Data

Hoewel vrijwel niemand kan zeggen wanneer data ‘big’ is en wanneer niet, willen we er allemaal ‘iets’ mee. Maar het verzamelen van terrabytes aan data garandeert nog niet dat we de beschikbare data nuttig gebruiken. Drie recente trends beginnen hier verandering in te brengen. De analyse methoden voor onze big data verbeteren, waardoor we steeds beter kunnen focussen op belangrijke data en uiteindelijk een verschuiving kunnen maken van analytics naar daadwerkelijke acties.

Big data is eigenlijk iedere dataset die te groot is om in memory te analyseren. En dat is al vrij snel het geval met de data die je online verzamelt. Je logfiles groeien, bij een beetje traffic, al snel uit tot monsterlijke verzamelingen van mogelijk nuttige informatie. Door het succesvolle gebruik van dit soort data door een aantal grote organisaties (Google, Facebook, en de andere grootheden) willen we tegenwoordig allemaal big data. Maar het verzamelen van een enorme hoeveelheid logfiles alleen is niet voldoende.

Een weinig informatieve visualisatie van “Big Data”

Kritisch verzamelen
Ten eerste moet je namelijk kritisch en weloverwogen bepalen welke data je verzamelt. Bevat je logfile IP-adressen, tijdstippen en URLs? Wat kan je dan later nog met die informatie? Stel dat je niet weet wat er op een specifieke URL staat, hoe weet je dan wat je bezoekers interessant vinden?

Gelukkig zien we de laatste tijd een verschuiving van het verzamelen van – vaak nutteloze – logdata naar dataverzameling die daadwerkelijk informatief is voor het gedrag van je gebruikers. Steeds meer bedrijven nemen kennis van de psychologische processen die de beslissingen van consumenten sturen. We proberen data te verzamelen die voorspellend is voor het consumentengedrag. De recente focus op persuasion – welke argumenten beïnvloeden je klanten – is hier een goed voorbeeld van: als je logfiles informatie bevatten over welke manier van beïnvloeding wordt gebruikt op specifieke URL’s en of deze beïnvloedingspoging al of niet succesvol is, dan kun je hier bij toekomstige interacties op inspelen. Door te weten wat het gedrag van je consumenten drijft en specifiek deze informatie te verzamelen heb je eindelijke nuttige big data.

Automatische beslissingen
Maar ook nuttige data verzamelen – geïnspireerd door de sociaal wetenschappelijke kennis over je klanten – is nog niet voldoende. Wat ga je uiteindelijk doen met deze gegevens? Veel van de huidige big data-oplossingen komen niet veel verder dan het tellen van specifieke rijen in je logfiles. Na de telling kan er van de uitkomst een grafiekje worden gemaakt. Je kunt dan bijvoorbeeld een mooi plaatje zien waarbij wordt weergegeven dat klanten met IP-adressen uit Nederland vaker je Nederlandstalige URLs bezoeken dan klanten uit Engeland. Of je ziet duidelijk dat je tussen 02.00 en 06.00 (ECT) minder bezoekers hebt vanuit Europa.

Plots van netwerken: erg mooi, maar wat doet een marketeer er mee?

Wat mij betreft zijn we er dan nog niet. Grafieken zijn leuk, en wellicht informatief voor online marketeers om hun campagnes te veranderen. Maar te vaak worden big data-applicaties die mooie grafieken maken gekocht, om er een maand of twee naar te kijken, en daarna erachter te komen dat het eigenlijk niet duidelijk is wat er met de informatie moet gebeuren.

Gelukkig is ook hier een nieuwe trend gaand en wordt big data vaker ingezet om automatisch beslissingen te nemen in plaats van om grafieken te maken. Zoekmachines gebruiken de telling van veel voorkomende zoekresultaten om direct passende resultaten voor te kunnen stellen aan de gebruiker, zodat deze sneller vindt wat hij zoekt. Recommendation engines, PersuasionAPI, en andere real time beslissingssystemen nemen op basis van de data direct beslissingen over de meest optimale opbouw van je huidige pagina. Door duidelijke succescriteria te specificeren kun je automatisch je pagina optimaliseren voor iedere individuele klant. Zonder tussenkomst van grafieken en de interpretatie van marketeers.

Analyse
Ten slotte is er een laatste verandering aan de gang die het daadwerkelijk nuttig gebruik van big data zal bespoedigen: de mogelijkheden om de data te analyseren, en dus uiteindelijk om erop te reageren, worden steeds uitgebreider. Een paar jaar geleden liep je nog vast op big data met de standaard databaseoplossingen. Hadoop, Hive, en Map/Reduce leken al snel de oplossing voor de analyse van big data. Deze nieuwe technologieën bieden de mogelijkheid om veel data op te slaan en deze efficiënt te analyseren. Maar ook Hadoop en Hive hebben hun beperkingen: de analyses van de dataset is eigenlijk nooit real time. Hierdoor leent een Hadoop/Hive setup zich goed voor grafieken, maar minder voor real time beslissingen. Dat laatste is vooral lastig wanneer je tussen twee pageviews in een pagina wilt aanpassen op basis van het voorgaande gedrag van uw bezoeker.

Maar ook hier wordt vooruitgang geboekt. Streaming analysemogelijkheden worden steeds verder uitgebreid, en met oplossingen zoals bijvoorbeeld Storm zijn deze ook voor iedereen te gebruiken. De techniek en de statistiek brengen ons een stapje dichter bij het nuttige gebruik van big data.

Meer en meer bedrijven volgen de bovenstaande trends. Ik denk dat we de komende jaren nieuwe oplossingen zullen zien die technologieën combineren met kennis over beslissingsgedrag om uiteindelijk je online activiteiten te optimaliseren.

Sinds deze week kun je in Maurits’ boek “Digitale Verleiding, hoe beïnvloedingsprofielen de online marketing op zijn kop zetten”  meer lezen over veranderingen in de omgang met data om uiteindelijk effectief te zijn online.

 

Deel dit bericht

Plaats een reactie

Uw e-mailadres wordt niet op de site getoond