Google Cloud introduceert nieuwe producten om beter data in te kunnen zetten. Zo komt het met het nieuwe BigLake en uitbreidingen op Spanner.

De belangrijkste introductie is de data lake storage engine BigLake. Deze oplossing moet verschillende data lakes en data warehouse-omgevingen met elkaar verenigen in een enkel platform. Hiermee voorkomt Google risico’s bij het handhaven van afzonderlijke data lakes en warehouses, wat normaliter mogelijk veel storagecapaciteit kost. Vooral bij het verplaatsen van data.

BigLake verenigt alle data lakes en -warehouses op één plek en laat daar ook de analyses plaatsvinden. Het maakt niet uit in welk bestandsformaat of systeem de data zijn opgeslagen. Het verenigen van alle data op één plek voorkomt volgens de techgigant duplicatie of het verplaatsen van data. De omgeving wordt beheerd met een API die omgevingen verenigt als Google Cloud en op open-source gebaseerde verwerkingsengines als Apache Spark en open file-formaten als Parquet.

BigLake brengt eigenlijk een uitbreiding van de beheerde multicloud data warehouse-omgeving BigQuery naar data lakes op Google Cloud Storage. Hiermee komt een flexibele open lakehouse-architectuur beschikbaar.

Spanner change streams

De bestaande Google Cloud Spanner-dienst is nu uitgebreid met functionaliteit voor het veranderen van streams; Spanner change streams. Hiermee worden Spanner inserts, updates en deletes in de gaten gehouden zodat veranderingen in data real time naar de Spanner-database van eindgebruikers kunnen worden gestreamd. Hierdoor hebben klanten altijd toegang tot actuele gegevens, aangezien zij makkelijk deze data van Spanner naar bijvoorbeeld BigQuery-omgevingen kunnen repliceren. Daarnaast kunnen zij makkelijker veranderingen doorvoeren in data die bijvoorbeeld in Google Cloud Storage is opgeslagen.

Overige functionaliteit

Op AI gebied maakt de techgigant de tool Vertex AI Workbench nu algemeen beschikbaar. Hiermee kunnen klanten data en machine learning-systemen in een enkele interface samenbrengen. Hierdoor hebben AI-modelontwikkelaars een enkel toolset voor hun data analytics-werkzaamheden, data science en initiatieven op het terrein van machine learning.

Extra toegevoegde functionaliteit aan Vertex AI Workbench omvat in preview beschikbare MLOps-functionaliteit met Vertex AI Model Registry. Dit is een centrale repository voor het ontdekken, gebruiken en beheren van machine learning-modellen.

Verder introduceert de techgigant Connected Sheets for Looker. Met deze oplossing gaan eindgebruikers nu meer intercatie aan met hun data. Bijvoorbeeld door Looker Explorer, Google Sheets of de drag & drop interface Data Studio te gebruiken.

Partnerecosystemen en allianties

Google Cloud heeft ook het partnerecosysteem voor zijn BigQuery Big data-oplossing uitgebreid. Via de certificering Googe Cloud Ready-BigQuery worden partners op een aantal functionele en interoperabele vereisten gevalideerd. Inmiddels bestaat dit ecosysteem uit ongeveer 25 partners, waaronder Informatica en Tableau.

Ook is de techgigant één van de initiatiefnemers van een nieuwe brancheorganisatie voor het stimuleren van Big Data; de Data Cloud Alliance. Andere deelnemers in dit samenwerkingsverband zijn Confluent, Databricks, Dataiku, Deloitte Touche, Elastic, Fivetran, MongoDB, Neo4j, Redis en Starburst Data.

Tip: Google BigQuery data warehouse-update versnelt analysetijd