Google brengt Cloud Dataproc naar Kubernetes

Google Cloud Dataproc, een dienst van Google Cloud voor het draaien van Apache Spark en Hadoop-clusters, wordt uitgebracht voor Kubernetes. De dienst zorgt ervoor dat gebruikers van Apache Spark en Hadoop  het managen van infrastructuur uit handen kunnen geven.

Cloud Dataprox zal in eerste instantie als alfa-versie op Kubernetes worden gelanceerd. De bedoeling van de lancering is dat enterprise-organisaties Apache Spark-workloads op Google Kubernetes Engine clusters kunnen draaien. Dit betekent dat gebruikers van Dataproc hun workloads naar de eigen datacenters kunnen migreren. Dit komt doordat GKE door Google Anthos bijna universeel beschikbaar is.

Samengevoegd beheer

Apache Spark-workloads draaien vaak op Hadoop-YARN-clusters. Cloud Dataproc zorgt ervoor dat gebruikers hun clusters kunnen beheren vanuit één overzicht. Op die manier hoeven er dus niet meer verschillende clustermanagement-systemen gebruikt te worden. “Door zowel YARN als Kubernetes te ondersteunen, kan je onderneming de nodige flexibiliteit worden geboden om bepaalde hybride werklasten te moderniseren. Tegelijkertijd kun je de op YARN gebaseerde werklasten blijven monitoren,” laat Google weten.

Uitbreidingen op termijn

TechCrunch meldt dat de dienst tot nu toe alleen Apache Spark ondersteunt, maar dat Google op termijn ook andere open-source projecten wil gaan ondersteunen. “Bedrijven zijn steeds meer op zoek naar producten en diensten die dataverwerking op meerdere locaties en platforms ondersteunen”, meldt Matt Aslett, research vice president bij 451 Research. “De lancering van Cloud Dataproc op Kubernetes is belangrijk in die zin dat het klanten één enkel controlevlak biedt voor de implementatie en het beheer van Apache Spark-taken op Google Kubernetes Engine in zowel publieke cloudomgevingen als on premise omgevingen.” De lancering van Google Cloud Dataproc is kortom een nieuwe stap richting de ondersteuning van de hybride cloud.