Databricks maakt Delta Lake open source beschikbaar

Databricks heeft bekendgemaakt dat het Delta Lake open source heeft gemaakt. Delta Lake is een opslaglaag waarmee het eenvoudiger wordt om data-integriteit te bewaren als nieuwe data in een data lake van een enterprise stroomt, door ACID-transacties naar de data repositories te brengen. 

Ali Dhodsi, mede-oprichter en CEO van Databricks, stelt dat data lakes bewezen hebben weinig data-betrouwbaarheid te hebben. “Delta Lake heeft deze uitdagingen voor honderden enterprises verwijderd. Door Delta Lake open source te maken, kunnen ontwikkelaars eenvoudig betrouwbare data lakes bouwen en ze omzetten in Delta Lakes.”

Delta Lake is al enige tijd een eigen onderdeel van de diensten van Databricks en wordt al in productie gebruikt door bedrijven als Viacom, Edmunds, Riot Games en McGraw Hill, schrijft TechCrunch. De tool biedt de mogelijkheid om specifieke schema’s af te dwingen, snapshots te maken en om streaming data in zich op te nemen of het meer terug te vullen als een batch job.

Delta Lake gebruikt ook de Spark engine om de metadata van de data lake af te handelen. Op de lange termijn wil het bedrijf ook een audit trail toevoegen, evenals diverse andere functies. Verder is het belangrijk om te weten dat Delta Lake bovenop bestaande data lakes draait en ondersteuning biedt voor de Apache Spark API’s.

Toekomst

Het bedrijf is nog aan het onderzoeken hoe het project in de toekomst beheerd wordt. “We onderzoeken nog meerdere modellen van open source project governance, maar het GitHub-model is goed begrepen en biedt een goede balans tussen de mogelijkheid om bijdrages te accepteren en bestuur van bovenaf”, aldus Ghodsi.

Delta Lake wordt beschikbaar onder de Apache License V2, dezelfde licentie die Apache Spark gebruikt. Daarnaast is Databricks van plan om bijdrages van buitenaf te accepteren, net als in het Spark-project. “We willen dat Delta Lake-technologie overal on premise en in de cloud gebruikt wordt door kleine en grote enterprises.”

“Deze aanpak is de snelste manier om iets te bouwen dat een standaard kan worden, door de gemeenschap richting te laten bieden en bij te laten dragen aan de ontwikkeling.”