Snowflake lanceert ondersteuning voor Apache Iceberg, een table format voor veeleisende analytics in productieomgevingen.

Apache Iceberg staat in de belangstelling. Eind 2021 maakte AWS op re:Invent bekend dat Amazon EMR (big data en analytics platform) Iceberg ondersteunt. “Het table format is geschikt voor snelle queries in grote tabellen en het managen van complexe datasets in data lakes”, beschreef de organisatie.

Snowflake deelt de mening. Eind januari 2022 introduceerde Snowflake ondersteuning voor Iceberg in de Snowflake Data Cloud. Dit maakt het mogelijk om via de Snowflake Data Cloud queries uit te voeren in data die via Iceberg is gestructureerd.

Waarom Iceberg?

De populariteit van Iceberg groeit. Het table format werd in 2018 ontwikkeld door developers van Netflix en Apple. Zij zochten een open source alternatief voor het table format van Apache Hive. Apache Iceberg werd ontworpen om data in Parquet, ORC en Avro te verwerken met meerdere gebruikers en frameworks, zonder de data te beschadigen.

AWS en Snowflake hebben meerdere redenen om Iceberg te omarmen. Zoals eerdergenoemd is AWS positief over de snelheid waarmee queries in het format worden voltooid. Snowflake benadrukt het grote aantal bestandssoorten en metadata dat Iceberg ondersteunt.

Tip: ThoughtSpot en Snowflake — een geoliede machine?