Databricks heeft onlangs datamanagement-bedrijf Tabular overgenomen. Deze overname moet volgens het bedrijf ervoor zorgen dat er een gezamenlijke standaard voor data lakehouses ontstaat.
De overname van Tabular door Databricks brengt twee formatstandaarden voor data lakehouse-omgevingen samen. Over de overname zijn geen financiële mededelingen gedaan, maar The Wallstreet Journal schat het uiteindelijke bedrag op meer dan 1 miljard dollar (ruim 920 miljoen euro). Tabular stond overigens ook in de belangstelling van Snowflake en Confluent. Met de acquisitie kan Databricks nog meer de concurrentie aangaan met deze twee data- en analyticsgiganten.
Lees meer: Databricks gaat van lakehouse naar data intelligence
Delta Lake UniForm en Iceberg
Data lakehouses zijn architecturen voor het opslaan van grote hoeveelheden van ruwe data. Daarbij wordt structuur- en beheerfunctionaliteit geboden door middel van bepaalde formats.
Databricks biedt hiervoor zijn Delta Lake-architectuur en meer specifiek zijn Delta Lake UniForm-format, terwijl Tabular zijn eigen format Iceberg heeft. Iceberg is een high-performance opensource-format voor databases die tabellen voor big data optimaliseert. Dat zorgt ervoor dat data engines met deze tabellen kunnen werken.
Zowel Delta Lake UniForm als Iceberg werken op basis van het Apache Parquet data storage format, maar toch zijn beide onderling niet interoperabel met elkaar. Door de overname moet dit wel gaan gebeuren, stellen Databricks en Tabular. De nieuwe standaard zal in nauwe samenwerking met de bestaande Apache Iceberg-community van Tabular worden ontwikkeld, geven beide bedrijven aan.
Klanten kunnen met het nieuwe format de beste eigenschappen van beide oplossingen gebruiken en hoeven zich geen zorgen meer te maken over welk format zij gebruiken. Voor Databricks zorgt dit ervoor dat zijn eigen platform meer tractie kan krijgen bij vooral grootzakelijke klanten. Dit omdat er minder concurrerende data lakehouse-formats overblijven.
In onze podcastserie Techzine Talks gingen we in een aflevering dieper in over wat een data lakehouse kan toevoegen aan de wereld van data lakes en data warehouses. Luister hier de aflevering: