Microsoft breidt zijn dataplatform Fabric uit met nieuwe mogelijkheden om data uit externe systemen direct beschikbaar te maken voor analyse en AI.
Het bedrijf kondigde aan dat Oracle en Google BigQuery nu deel uitmaken van de mirroring-functionaliteit van Fabric. Tegelijkertijd wordt een nieuwe graph database geïntroduceerd.
Fabric werd in 2023 gelanceerd als uniform cloudplatform voor data en analytics. Later datzelfde jaar volgde mirroring, een functie waarmee data uit bestaande warehouses en databases toegevoegd en beheerd kan worden zonder complexe ETL-processen of zelfgebouwde datapijplijnen. Met de nieuwste update kunnen organisaties een snapshot van Oracle- en BigQuery-databases repliceren naar OneLake, het lakehouse-systeem binnen Fabric, waar de kopieën vrijwel realtime synchroon blijven met de brondatabases.
Volgens Arun Ulag, senior vice president Azure Data, wordt bij het eerste gebruik een snapshot gemaakt die als basis dient. Vanaf dat moment houdt Fabric de database automatisch up-to-date, met een vertraging van minder dan vijf minuten. Dat maakt het volgens hem overbodig voor klanten om zelf pipelines te onderhouden.
Wel zijn er enkele technische voorwaarden. Zo moet Fabric toegang krijgen tot de Oracle-database. Bevindt die zich on-premises of achter een firewall, dan is een Fabric enterprise gateway noodzakelijk om de verbinding tot stand te brengen.
Ondersteuning voor Apache Iceberg
Microsoft benadrukt dat klanten geen extra kosten hoeven te maken voor de rekenkracht die nodig is voor mirroring. Het bedrijf levert ook de opslag in OneLake. Microsoft stelt dat deze aanpak data volledig toegankelijk en bruikbaar maakt in open formaten. Daarbij maakt Microsoft gebruik van Apache Parquet en het Delta Lake open table format, dat native is aan OneLake. Verder is er ondersteuning toegevoegd voor Apache Iceberg. Dat is een ander open table format dat inmiddels breed wordt ingezet door partijen als Google en Snowflake.
De uitbreiding is vooral interessant voor organisaties die al werken met Microsoft-producten zoals Power BI en Synapse. Grote concurrenten als AWS, Google, Databricks, Oracle en Snowflake hebben ieder hun eigen lakehouse-strategie, waardoor de keuze voor Microsoft voor sommige gebruikers minder vanzelfsprekend zal zijn.
Naast mirroring introduceert Microsoft ook Graph in Fabric, een low/no-codeplatform voor het modelleren en analyseren van relaties tussen datasets. Deze database is ontwikkeld door het team van LinkedIn, dat sinds 2016 onderdeel is van Microsoft. Binnen Fabric moet de technologie bedrijven helpen verbanden en netwerken in hun data inzichtelijk te maken, zodat analyses rijker en beter bruikbaar worden.