Google Cloud Dataflow wordt geen Hadoop-killer

Google lanceerde een dezer dagen een nieuwe dienst voor de verwerking van data. Maar experts zijn het er nu al over eens: Cloud Dataflow gaat het populaire Hadoop niet vervangen.

Hadoop stelt bedrijven in staat om grote volumes aan data te beheren en op te slaan, vooral ongestructureerde data, die zich doorgaans wat moeilijker lenen voor relationele databases.

Dat moeten wij ook kunnen, dacht Google, en het bedrijf claimt dan ook dat de nieuwe dienst MapReduce kan vervangen, de technologie achter Hadoop. MapReduce is ooit ontwikkeld door Google zelf voordat het (met dank aan Yahoo) aan de open source-gemweenschap werd gegeven. Inmiddels wemelt het van de Hadoop-versies. Bedrijven als Cloudera, Hortonworks en MapR hebben elk hun eigen varianten.

Urs Hölzle, die bij Google gaat over de technische infrastructuur, vertelde een dezer dagen op het ontwikkelaarscongres I/O dat Google MapReduce intern niet meer gebruikt. Daarvoor in de plaats zijn twee andere technieken gekomen: Flyme en MillWheel. Die zorgen ervoor – alweer volgens Google – dat men veel meer data efficient kan verwerken. Bij MapReduce ontstonden er problemen toen het datavolume in de vele petabytes begon te lopen.

De belangrijkste verschillen zijn dat Cloud Dataflow meer een dataverwerker is van ‘streaming data’ en Hadoop meer een data opslagsysteem. Google demonstreerde het programma aan de aan van bijna realtime analyses van de tweets die tijdens het WK worden verzonden. Maar dat kunnen andere bedrijven inmiddels ook. Met name Cloudera leunt nu al op een aantal supersnelle data-analyse technieken als Spark en Impala, waarbij gegevens aan Hadoop worden onttrokken.

Experts denken dan ook dat Cloud Daraflow meer zal worden ingezet voor applicaties die specifiek voor de Google Cloud zijn geschreven. De dienst wordt overigens nog maar door een beperkt aantal bedrijven voor testdoeleinden gebruikt. Een publieke preview wordt later dit jaar verwacht.