Na Hadoop komt Spark?

2015 zou het jaar kunnen worden van Apache Spark. Bedrijven zullen de open source Big Data oplossing Hadoop wel eens aan de kant kunnen zetten. Dat verwachten insiders.

Spark kan data analyseren die op computerclusters staan, en te groot zijn voor traditionele databases. Maar het grootste voordeel is dat data al kan worden geanalyseerd als het binnenstroomt, in het jargon: streaming data.

Spark kan sneller 100 terabyte aan data doorzoeken dan Hadoop. Hadoop deed daar in een snelheidstest 72 minuten over, Spark 23. Dit soort tijdwinst is precies wat adverteerders willen om klantgedrag bijna realtime te kunnen analyseren. Spark kan ook meer complexe vraagstukken aan.

Spark werd in 2008 ontwikkeld voor de Universiteit van Californië in Berkeley. Programmeurs van Intel, Yahoo, Alibaba en Mint zijn betrokken bij de ontwikkeling ervan. Spark heeft een API die de technologie vrij eenvoudig toegankelijk maakt voor ontwikkelaars.

Spark wordt inmiddels steeds op ruimere schaal geadopteerd. Hadoop distributeur Cloudera heeft inmiddels 60 grote klanten die Spark gebruiken. Hortonworks en MapR leveren eveneens Spark distributies.

Een van de grotere Spark gebruikers is Spotify. Die analyseert met Spark muziekvoorkeuren om speellijsten samen te stellen.