-

Big Data wordt real time

Big Data wordt wel de goudader van het bedrijfsleven genoemd, maar echt gedolven wordt er nog nauwelijks. 91 procent van de respondenten van een onderzoek van Dimensional overweegt te investeren in Big Data, maar slechts vijf procent doet het, en elf procent heeft weinig meer dan een proefproject lopen.

De belangrijkste reden is dat Big Data nog steeds te moeilijk is om te gebruiken, als men al de juiste data heeft om te analyseren.

Justin Langseth, CEO van Zoomdata, ziet echter een heel nieuwe toekomst voor Big Data. Het verschil gaat hem zitten in real data versus bulkverwerking. Technieken als Hadoop, MapReduce en Spark verwerken data als batches, anders gezegd: in eenheden. Een beetje als de koe die een grote hap uit een baal stro neemt en daar enige tijd op gaat kauwen.

Maar het is natuurlijk beter als data van bijvoorbeeld het gedrag van websitebezoekers in real time kan worden geanalyseerd, een beetje zoals koersen van de beurs. Dat dit nog niet het geval is komt deels door de historie: vroeger stond bedrijfsdata op schijf of op tape. Zo’n tape moest dan ook vaak worden verplaatst, van de ene machine naar de andere. Veel technieken gaan nog uit van deze architectuur, noodgedwongen omdat data wordt vergaard door oudere (legacy) systemen.

Met moderne architecturen als Kafka en Kinesis en opslagsystemen als MongoDB, Cassandra, Hbase en DynamoDB kan data echter wel degelijk worden gestreamed, net als muziek bij Spotify. En diezelfde techniek kun je ook gebruiken voor historische data, door die stream terug te spoelen, als bij een videorecorder.

Daarover wordt nog wel verschillend gedacht. Zo is er de school van de Lambda Architectuur, die vindt dat je batch(ed) en real time data beter gescheiden kunt houden, ook al zijn ze te combineren.

Langseth ziet data als water of als stroom. ‘Je kunt water in flessen stoppen, en elektriciteit in batterijen. Voor een merk als Dom Perignon is water in flessen een oplossing, maar je wilt eigenlijk je water of je stroom uit een pijp laten komen.’

Zijn bedrijf claimt als enige analyses op zo’n pijp los te kunnen laten, met dynamische grafieken als resultaat. De Business Intelligence oplossing die zijn bedrijf levert, maakt als het ware een ruwe schets van binnenkomende data, om die daarna scherper en gedetailleerder te maken, als een cameralens die wordt scherpgesteld.

Om video's van Youtube te kunnen tonen, dienen analytische cookies en tracking cookies geaccepteerd te worden.

Deel dit bericht

3 Reacties

Frank van Zanten

Wel makkelijk om als redacteur een artikel van Matt Asay over te schrijven maar probeer dan wel te snappen wat je opschrijft…. Nu komt het nogal dom over wat er staat. Het artikel gaat over het VERSCHIL tussen Hadoop met het gebruik van MapReduce en Spark wat ook in staat is om real-time data te verwerken.

Dit is trouwens ook niet nieuw en er zijn talloze bedrijven met tooling om (big)data in een stream te verwerken. Soms gaat dat zelfs in specifieke hardware om snel genoeg te zijn. Het verhaal van Zoomdata is helaas vooral marketing van het eigen product.

Jan Libbenga (Emerce)

Er staat nergens dat de genoemde technieken dat niet kunnen, wel dat ze veelal voor batchverwerking worden ingezet. Zoomdata heeft een iets andere filosofie die interessant is om eens uit te lichten. Dat mag jij marketing vinden.

Leonard Wolters

Wij van wc-eend …….

Plaats een reactie

Uw e-mailadres wordt niet op de site getoond