Databricks heeft onlangs zijn Delta Lake 3.0-platform gepresenteerd. Een belangrijke feature van dit platform is de introductie van Universal Format (UniForm).
Met de introductie van de nieuwe versie van zijn Delta Lake-platform wil Databricks het belangrijkste fundament vormen voor het open-source data lakehouse-initiatief Delta Lake van de Linux Foundation. Met een open-source data lakehouse-architectuur krijgen bedrijven meer keuze en flexibiliteit voor een data lakehouse. Althans, dat is de gedachte achter dit initiatief.
UniForm-format
Binnen zijn Delta Lake versie 3.0-oplossing geeft Databricks veel aandacht aan de integratie van de drie data formats die bedrijven kunnen tegenkomen voor een data lakehouse. Natuurlijk het open-source format Delta Lake, maar ook Apache Iceberg of Apache Hudi.
In Delta Lake 3.0 zorgt UniForm ervoor dat het Delta Lake-format wordt uitgelezen alsof het een omgeving van de andere twee formats is. Dit maakt een data-ecosysteem mogelijk dat overweg kan met alle drie de data formats.
Kernel en Liquid Clustering
In Delta Lake 3.0 wordt ook Delta Kernel geïntroduceerd. Deze feature pakt de fragmentatie van connectors aan door deze te bouwen op basis van een centrale Delta-library die alle Delta-specificaties borgt. Hierdoor hoeven gebruikers hun Delta-connectors minder vaak bij te werken na een nieuwe release of protocolwijziging.
Verder beschikt Delta Lake 3.0 van Databricks over de Delta Liquid Clustering. Deze feature verbetert de prestaties rondom read and write. Het biedt een flexibele data layout-technologie die kosteneffectieve en schaalbare datasclustering mogelijk moet maken. Dit in plaats van de meer traditionele hive-achtige tabelpartitionering met een vaste data-indeling.
Databricks Delta Lake 3.0-release is nu in preview beschikbaar.
20 uur geleden
Expert bijdrage
