10min Devops

Appian’s Data Fabric haalt meer uit data, waar die ook staat

Insight: Data Fabrics

Appian’s Data Fabric haalt meer uit data, waar die ook staat

Appian heeft jaren gewerkt aan de ontwikkeling van een eigen data fabric. Deze nieuwe laag binnen het low-code automation platform van het bedrijf maakt het mogelijk om data in verschillende bronnen en systemen rechstreeks aan te spreken. We spraken met Appian CTO Mike Beckley over de impact van deze nieuwe laag op het opzetten van datamodellen, de ontwikkeling van applicaties en de prestaties ervan.

We zijn in de afgelopen jaren al heel wat zogeheten fabrics tegengekomen. NetApp had en heeft een data fabric en Fortinet een security fabric, om er twee te noemen. Recent zagen we ook bij SAP iets soortgelijks de kop op steken. Appian heeft het sinds enige tijd ook. In principe doen alle fabrics globaal hetzelfde. Ze zorgen ervoor dat er een koppeling is tussen omgevingen en systemen die voorheen onmogelijk was. Bijvoorbeeld omdat systemen fysiek niet bij elkaar in de buurt stonden, of omdat de inhoud van de systemen van nature niet compatibel was met elkaar.

In het geval van data betekenden deze restricties doorgaans dat je data moest verplaatsen. Vervolgens moest er vaak ook nog iets met die data gedaan worden om het geschikt te maken voor wat je ermee wilde. Met andere woorden, het was niet eenvoudig om op deze manier vanuit een centrale plek met de beschikbare data aan de slag te gaan.

Bovenstaand scenario is niet bepaald efficiënt. Je bent continu bezig met het verplaatsen van data, waardoor je ongetwijfeld ook veel duplicaten krijgt. Overzicht houden is dan niet eenvoudig. Daarnaast hebben dergelijke extra handelingen ook onherroepelijk een impact op de prestaties in het algemeen. Of dit nu de prestaties zijn van developers die applicaties ontwikkelen, of de prestaties van de applicaties zelf. Verder zorgt een ongecontroleerde verspreiding van data binnen organisaties ook voor de nodige hoofdbrekens op het gebied van security. Als je geen idee hebt waar de data zich allemaal bevindt, kun je deze ook niet optimaal beveiligen.

Appian_platform

Low-code data integratie wordt volwassen

Met het data fabric wil Appian bovenstaande problematiek uit de wereld helpen voor gebruikers van het Appian automationplatform. Enkele jaren geleden tijdens Appian World werd hier al de eerste duidelijke aanzet voor gegeven. Toen kondigde Appian een functionaliteit aan die het low-code data noemde. Hiermee bracht Appian low-code naar data-integratie. Naast dat deze functionaliteit het mogelijk maakt om met behulp van low-code concepten data te integreren, betekent dit ook dat data niet meer gemigreerd hoeft te worden. Er hoeft dus geen data maar naar een Appian-database overgeheveld te worden.

We zijn inmiddels een kleine twee jaar verder. In de tussentijd heeft Appian low-code data verder doorontwikkeld. Het is nu de Appian Data Fabric geworden. De kern hiervan is de Appian Data Service. Deze dienst zorgt ervoor dat alle data uit alle verschillende bronnen centraal inzichtelijk is. Je ziet in een oogopslag wat de verbindingen zijn tussen datapunten en hoe deze zich tot elkaar verhouden. Dit maakt het mogelijk om centraal een datamodel te definiëren, geeft Beckley aan. “Je kunt met dit model aan de slag, er data uit lezen en naartoe schrijven, maar ook queries doen en updaten”, geeft hij aan. Dit dus allemaal vanaf een centraal punt. Je kunt Data Service zien als een soort Business Intelligence, maar dan niet om er dashboards mee te bouwen voor je salesafdeling, maar voor het ontwikkelen van applicaties.

Meerdere lagen van de Appian Data Fabric

Bovenop de Data Service ligt de semantische laag. Daar houdt de Data Fabric alle data die van belang is in de gaten, als het ware. Beckley zelf heeft het bij dit gedeelte over de ontologie, oftewel het meest wezenlijke onderdeel van de Data Fabric. Hier ziet het wat data ‘is’, wat het voor moet stellen en weet het dus ook wat het ermee aan moet vangen. Dit moet als eerste duidelijk zijn. Op basis daarvan is het mogelijk om de relevante data te integreren met elkaar. Het is dan ook mogelijk om integraties met verschillende databronnen op te zetten op een hoger conceptueel niveau. Dat is in feite het uiteindelijke datamodel. Je kunt dit gebruiken voor analytics, onder andere.

Bovenop deze laag binnen de Data Fabric komt nog een verrijkingslaag, waarbij je nog de nodige extra waarde kunt toevoegen aan de data. Het resultaat is dat je cross database joins kunt doen, iets wat volgens Beckley nog nooit goed heeft gewerkt. Althans, niet zonder heel veel data te verplaatsen vanuit meerdere systemen naar een enkele database, maar dan is het formeel geen cross database join meer natuurlijk. Met Data Fabric kan dat dus wel, zonder data te hoeven verplaatsen.

Onderaan de streep maakt de Appian Data Fabric het mogelijk om de relaties tussen verschillende datapunten inzichtelijk te maken. Dat is iets wat je met data dat in een Data Lake beschikbaar gesteld wordt, standaard niet kunt doen. Die data moet je doorgaans nog in een data warehouse zetten, alvorens applicaties er gebruik van kunnen maken. Bij het ontwikkelen van applicaties wil je het echter integreren in de applicatie zelf. Dat is dus mogelijk met het Appian Data Fabric. Hiermee bespaar je volgens Beckley ook veel tijd, vooral omdat het heel eenvoudig via low-code-principes werkt. Daarnaast kun je ook veel meer met data doen, omdat je de verbanden tussen verschillende stukken data veel beter inzichtelijk maakt.

Wat betreft de algemene kenmerken van de Appian Data Fabric, is het tot slot goed om nog eens te benadrukken dat deze de data in de verschillende systemen rechtstreeks aanspreekt. Dat wil zeggen dat er minder tussenstappen zijn waarvoor API’s nodig zijn. Appian zelf claimt dat de Data Fabric ervoor kan zorgen dat de het aantal complexe API-integraties met 20 tot 60 procent kan worden teruggedrongen. Als dat waar is, dan betekent dat een stuk minder API’s om te onderhouden voor de teams die hiervoor verantwoordelijk zijn. Daarnaast is dit ook veiliger, omdat je nu niet het risico loopt dat je een suboptimale API bouwt, met alle gevolgen van dien. Beckley ziet de Data Fabric dan ook als “het begin van een hoger niveau van programmeren, een nieuwe semantische laag bovenop wat we al hebben”.

Appian_Data_Fabric

Het is onderliggend geen graph database

Als we het verhaal van Beckley aanhoren en we zien tijdens de keynote van hem de visualisatie van de data service en hiermee het data fabric voorbijkomen, krijgen we een sterke associatie met een graph database. De manier waarop de verbanden worden gelegd tussen de verschillende datapunten is op het eerste gezicht identiek. Beckley wil begrijpelijkerwijs niet te veel kwijt over hoe de onderliggende technologie werkt. Toch wil hij wel duidelijk maken dat we hier niet met een ‘platte’ graph database te maken hebben: “We maken gebruik van een multi-model database.” Dat houdt in dat Appian ook voor andere databronnen dan graph databases eenzelfde inzicht kan genereren.

De verschillen tussen de onderliggende database van Appian en graph databases zijn dus tamelijk fundamenteel, als we Beckley horen. Appian kan dan ook prima integreren met aanbieders van dat soort databases. Ook andere platformen die onder het kopje ‘big data analytics’ vallen kun je eenvoudig gebruiken als bron voor Data Fabric. Beckley geeft als voorbeeld de platformen van Quantexa en Palentir. Dat is in zijn woorden “geweldige input” voor de Data Fabric van Appian. We hebben trouwens ook een uitgebreid artikel over Quantexa geschreven, maar dat terzijde.

Snelle adoptie van Data Fabric

We hoorden tijdens Appian World vorig jaar al van CEO Matt Calkins dat de adoptie van low-code integratie (en dus ook van Appian Data Fabric) heel hard ging. Die adoptie is sindsdien niet langzamer gegaan, horen van van Beckley. 45 procent van de klanten van Appian gebruikt Data Fabric al. Dat is op zich wel te verklaren, omdat Appian de Data Fabric niet als een losstaand onderdeel in de markt zet. Het is een integraal onderdeel van het platform. Sterker nog, het is onderdeel van Appian Records. Dat is min of meer de basis van wat Appian doet, namelijk de manier van het bedrijf om data in records te vangen.

Een andere reden voor de snelle adoptie is echter ook dat je bestaande applicaties niet fundamenteel aan hoeft te passen om er gebruik van te kunnen maken. Beckley heeft het over kleine aanpassingen (minor refactoring). “Bestaande klanten moeten wat kleine aanpassingen maken. De applicatie moet weten wie en wat aan te roepen. Dit neemt niet meer dan een paar weken in beslag”, aldus Beckley. “Voor nieuwe klanten is het vanzelfsprekend helemaal geen issue, want die weten niet dat het voorheen moeilijker was om data uit verschillende bronnen centraal inzichtelijk en bruikbaar te maken”, voegt hij nog toe.

Data Fabric staat centraal in toekomst van Appian

Het mag duidelijk zijn dat Appian het serieus meent met de Data Fabric. Het is voor zover wij het kunnen inschatten het centrale concept waar het bedrijf de markt mee opgaat op het moment. Waar tot vorig jaar vaak de term low-code automation werd gebruikt in uitingen van het bedrijf, is dat nu Data Fabric. Als je bedenkt dat Appian een sterke verticale marktbenadering heeft, is dat ook logisch. Data Fabric stelt het bedrijf in staat om een overtuigende propositie neer te zetten.

Beckley heeft het in dit opzicht over maatwerk (customization) als een feature, niet als een probleem. Andere platformen hebben last van het laatste, dankzij Data Fabric kan Appian het juist als onderscheidend kenmerk positioneren. “Data Fabric lost het lastigste onderdeel van maatwerk op”, stelt hij. Als voorbeeld hiervan geeft hij het uitbreiden van een datamodel met enkele velden. Dat was voorheen erg ingewikkeld, maar met Data Fabric erg eenvoudig. Binnen de financiële sector en de verzekeringswereld, twee van de industrieën waar Appian van oudsher sterk op focust, gaat dit het bedrijf veel voordeel opleveren, is zijn stellige overtuiging.

Data Fabric is nog niet af

Tot slot van dit artikel is het ook goed om nog even te kijken naar de toekomst. De basis voor Appian Data Fabric binnen het portfolio van het bedrijf werd enkele jaren geleden geleden gelegd met de aankondiging van low-code integration. Inmiddels is dat doorontwikkeld richting Data Fabric. Daarmee is Appian er echter nog niet. Zelf denken we dan meteen aan datakwaliteit. Dat is een van de hoofdpijndossiers binnen organisaties. Verschillende databronnen aan elkaar koppelen is zonder meer erg waardevol, maar als de kwaliteit van die data niet goed is, krijg je nog niet de inzichten en de uitkomsten die je wilt en nodig hebt.

Op dit moment zit er al wel iets van functionaliteit rondom datakwaliteit in Appian Data Fabric. Beckley noemt dit echter “basic stuff“. Denk dan onder andere aan null handling, oftewel het omgaan met lege cellen. Veel verder gaat het op dit moment nog niet. Dit komt er wel aan, maken we op uit zijn woorden: “Je kunt de roadmap op dit punt wel uittekenen.” Wordt dus zeker vervolgd.