Databricks lanceert Delta Live Tables, een framework voor de ontwikkeling van ETL data pipelines en het beheer van een infrastructuur.
Een ETL data pipeline vervoert én transformeert data. ETL-ontwikkeling kan tijd roven, want veranderingen in een infrastructuur moeten gespiegeld worden in de configuratie van een pipeline. Delta Live Tables pakt het probleem aan.
Het framework combineert dev tools en infrastructuurbeheer. De technologie begrijpt de dependencies van een pipeline, waardoor veranderingen van een infrastructuur automatisch in de pipeline worden meegenomen. Databricks lanceerde de preview van Delta Live Tables in 2021. De oplossing is vanaf vandaag algemeen beschikbaar.
Onder de motorkap
Python en SQL worden ondersteund, evenals batch- en streaming-workloads. Engineers kunnen pipelines in machinetaal schrijven, ook wel bekend als Pipeline as Code. Het framework draait op declarative API’s. Met andere woorden: engineers beschrijven de gewenste transformatie en eindbestemming, waarna het framework de tussenstappen aanvult. Testtools, documentatie en monitoring zijn inbegrepen.
De oplossing wordt onder andere gebruikt door JLL, Shell en Jumbo. ADP gebruikt het framework voor de migratie van HR-data naar een data lakehouse. “Ondersteuning van zowel batch als streaming workloads bespaart veel tijd en moeite”, deelt Jack Berkowitz, Chief Data Officer bij ADP.
Tip: Databricks legt met Lakehouses for Financial Services architectuur voor dienstverleners
6 uur geleden
Expert bijdrage
