Databricks voegt Delta Sharing, Delta Live Tables en Unity Catalog toe aan zijn Delta Lake-portfolio. Met deze tools moeten klanten beter hun data kunnen beheren.
Databricks, een leverancier van specifieke data- en AI-diensten, heeft een aantal updates voor zijn Delta Lake-portfolio doorgevoerd. Delta Lake is een open storage-formaat/platform dat betrouwbaarheid, security en prestaties levert voor de data lakes van klanten.
Introductie Delta Sharing
Het nu als open-source uitgebrachte Delta Sharing biedt nu een open standaard voor het delen van databestanden in de Parquet- en Delta Lake-formaten tussen interne en externe gebruikers. Dit geheel onafhankelijk van het platform waar de data zich bevindt. De tool levert hiervoor onder meer security controls en makkelijk te beheren permissies.
De tool integreert daarnaast met andere open-source tooling op dit gebied, zoals Trino, Presto en Hive en diverse BI-tools als Microsoft Power BI, Tableau, Qlik en Google Looker. Andere ondersteunde platforms zijn Alation, Collibra, Dremio en AtScale. Ook worden dataleveranciers als Precisely en Foursquare ondersteund, maar ook tools als Google Big Query en de public cloudomgeving Microsoft Azure.
Delta Live Tables en Unity Catalog
De nu uitgebrachte tool Delta Live Tables, niet open-source, is een door Databricks zelfgebouwd op SQL gebaseerd data pipeline platform. Dit platform is geschikt voor zogenoemde extract, transform en load (ETL)-functionaliteit voor batch- en streamingdata. Het platform schoont onder meer data op en maakt deze consistent, zodat het voor analytics en machine learning kan worden gebruikt.
Verder introduceert Databricks de Unity Catalog. Met deze oplossing kunnen klanten in een enkele interface tot op detail governance uitvoeren voor al hun gestructureerde en ongestructureerde data die zich in de diverse cloudgebaseerde data lakes bevinden. Hierdoor wordt het voor hen eenvoudiger om al hun data op het Databricks Lakehouse Platform te verzamelen. De tool integreert hiervoor ook met andere datasystemen, zoals onder meer die van Alation, Collibra, Immuta and Privacera.
De diensten Delta Sharing, Delta Live Tables en de Unity Catalog van Databricks zijn per direct beschikbaar.
34 minuten geleden
