Vlak voor de start van de Data Cloud Summit 2024 komt Snowflake met een nieuw project dat de datafundering van bedrijven moet verbeteren: Polaris Catalog. Het doel van deze technologie is om bedrijven te helpen eenvoudiger toegang te krijgen tot data uit verschillende systemen, met oog voor flexibiliteit en controle.
Met Polaris biedt Snowflake bedrijven een optie om data te indexeren en te organiseren conform het Apache Iceberg-formaat. Apache Iceberg is uitgegroeid tot een open data table-formaat waar veel bedrijven op vertrouwen. De samenwerking tussen Polaris en Apache Iceberg werkt als volgt: gebruikers hebben een centrale plek waar elke engine iedere Iceberg-table kan vinden en toegang tot kan krijgen.
Christian Kleinerman, EVP of Product, benadrukt dat de interoperabiliteit met andere query engines Polaris sterk maakt. “Dit is niet een Snowflake-functie om beter te werken met de Snowflake query engine. Natuurlijk zal die heel goed integreren en samenwerken, maar we brengen een aantal industriële partners samen om ervoor te zorgen dat we onze gezamenlijke klanten uiteindelijk het beste kunnen bieden”, aldus Kleinerman. Voor nu zijn AWS, Microsoft Azure, Google Cloud, Salesforce, Confluent en Dremio onthuld als techplatformen waarmee interoperabiliteit mogelijk is.
Open-source
Polaris Catalog vertrouwt op het open-source REST-protocol van Iceberg. Dit biedt een open standaard om data op te halen uit elke engine die de Iceberg REST API ondersteunt. Hieronder vallen onder andere Apache Flink, Apache Spark, Dremio, Python en Trino. Snowflake zegt binnenkort te komen met een public preview van het nieuwe project. Polaris Catalog kan dan als optie draaien in de Data Cloud of via containers in de eigen infrastructuur van een bedrijf. Binnen 90 dagen moet Polaris Catalog bovendien open-source worden.
Techzine is deze week aanwezig op de Data Cloud Summit 2024. Houd de website in de gaten voor de laatste ontwikkelingen rondom Snowflake.
Tip: Snowflake koopt TruEra voor observability in Data Cloud