Databricks heeft tijdens zijn virtuele Spark + AI Summit conferentie de overname van Redash aangekondigd. De startup biedt data scientists een dienst voor datavisualisatie. Het is niet bekend hoeveel geld er met de overname gemoeid is.
Met het overnemen van Redash wil Databricks zijn ‘data lakehouse’-visie een boost geven. Data lakehouses gebruikt het bedrijf als term om te omschrijven hoe het tegen data warehouses en data lakes aankijkt: beide technologieën met specifieke use cases en eigenschappen. Databricks wil het beste van beide technologieën combineren om met de zogeheten lakehouses meer eenvoud, voordelen en toepassingen te realiseren.
Om die visie verder te ontwikkelen komt het bedrijf dan ook met een forse update. Enerzijds door de overname van Redash, anderzijds met de nieuwe query engine Delta Engine voor Delta Lake. Delta Lake is het Databricks-framework dat als storage laag bovenop de data lakehouses draait.
Query-mogelijkheden uitbreiden
Volgens het bedrijf is de nieuwe query engine welkom aangezien traditionele analytics op structured- en semi-structured data om snelle performance vraagt. “Oorspronkelijk dupliceren organisaties data in hun data lakes om deze in verschillende data warehouses op te slaan, omdat de tools voor deze data niet geschikt zijn voor snelle uitvoering van query’s”, aldus Databricks. Het beheer zou uitdagingen als inconsistente data silo’s en hoge kosten met zich meebrengen.
Met Delta Engine moet analyse op data in Delta Lakes sneller plaatsvinden. Gebruikers kunnen hun data dus analyseren zonder het uit de Delta Lake te halen, zodat de query-snelheid omhoog gaat.
Redash kan vervolgens een rol spelen in het daadwerkelijk begrijpen van deze query’s. De oplossing van deze startup visualiseert namelijk de query-resultaten in een dashboard, waarop het bijvoorbeeld grafieken toont. Deze datavisualisatie-methode zorgt ervoor dat de resultaten ook beter over te brengen zijn op andere medewerkers binnen de organisatie, dus niet alleen de data scientists.
Tip: Databricks vindt open source de broodnodige innovatie voor data science