VAST Data ontwikkelt hard door. De trend: steeds meer onderdelen die een rol spelen voor data pipelines het eigen platform intrekken. Het voorlopige doel: het OS, oftewel besturingssysteem, voor AI worden. Wat bedoelt VAST Data hiermee? En wat hebben (enterprise-)klanten hieraan? Wij zochten het uit.

“Het voelt alsof het steeds dichterbij komt, ik zie het zich nu echt manifesteren,” zegt Field CTO Andy Pernsteiner over de ontwikkeling van het OS voor AI door VAST Data. Hij weet heel goed waar het bedrijf vandaan komt en wat het allemaal heeft ontwikkeld, want hij werkt er al zo’n 8 jaar voor. Dat is dus voordat VAST überhaupt een product had waar het de markt mee opging.

Om te begrijpen waar VAST Data nu staat moeten we terugkijken naar hoe het platform vanaf de grond is opgebouwd, van pure opslag voor High Performance Computing (HPC) naar datamanagement, en uiteindelijk naar een volledig ‘AI OS’.

Lees ook: VAST Data bouwt Data Platform verder uit met InsightEngine

HPC als startpunt

In de begindagen lag de focus van VAST Data primair op het opslaan van enorme hoeveelheden data. “Zelfs voordat we over AI spraken, moest data ergens worden opgeslagen,” merkt Pernsteiner op. Het bedrijf begon in de wereld van HPC (High Performance Computing). De keuze voor deze sector was strategisch: in die wereld zijn de schaal en de prestatie-eisen enorm groot. VAST dwong zichzelf met deze keuze min of meer om de lat heel hoog te leggen. Volgens hem is de skillset om te bouwen wat VAST heeft gebouwd niet iets is wat je op school leert, waarmee hij impliceert dat het bedrijf iets unieks heeft opgebouwd, dat zeker niet zomaar te repliceren is.

VAST Data zag een kans om HPC anders aan te vliegen, horen we van Pernsteiner. Traditionele HPC-systemen waren weliswaar snel, maar historisch gezien niet altijd even betrouwbaar of rijk aan features. VAST koos voor een benadering waarbij stabiliteit centraal stond, gebouwd op een fundament van flash-opslag. Pernsteiner legt uit dat de architectuur vanaf het begin is ontworpen om met hardware om te gaan alsof deze elk moment kan falen.

De Disaggregated, Shared-Everything (DASE)-architectuur van VAST betekent dat compute en storage (en state) van elkaar gescheiden is. Het resultaat is een platform dat niet alleen kostenefficiënt is, maar bovenal extreem stabiel. Pernsteiner geeft aan dat stabiliteit de voornaamste reden was voor xAI om voor VAST te kiezen. Het systeem van VAST was het enige dat stabiel genoeg was. “CSPs (Cloud Service Providers) rekenen tegenwoordig in hoeveel GPU-minuten ze hebben verloren,” stelt Pernsteiner. Stabiliteit is in het AI-tijdperk direct gekoppeld aan rendement. “We zijn misschien niet altijd de snelste, maar wel heel betrouwbaar”, voegt hij toe om nog een keer te benadrukken waar het vooral om draait bij AI-workloads.

Enterprises verwachten meer van HPC

De initiële focus van VAST Data op HPC was dus zonder meer een goede, kunnen we nu wel stellen. Klanten kwamen echter al snel met eisen die verder gingen dan pure snelheid en stabiliteit. Ze wilden enterprise-features zoals beveiliging, encryptie en multi-tenancy in de systemen van VAST hebben. Het platform moest in staat zijn om in meerdere stukken gesneden te worden, met behoud van strikte monitoring en beveiliging. Nadat VAST dit had ingebouwd, verliet het feitelijk de ‘ouderwetse’ HPC-wereld en zette het stappen richting AI-toepassingen.

VAST wilde vanaf het begin al veel meer bereiken dan klanten systemen bieden waar ze data opslaan waar vervolgens niemand iets mee doet, horen we van Pernsteiner. Het begon patronen te herkennen in hoe klanten hun systemen gebruikten. Ze zagen dat moderne analytics zoals dat was gebouwd met behulp van een Delta Lake framework bovenop Parquet-bestanden inefficiënt was. Daarom besloot VAST een eigen database te bouwen, de VAST Database. Deze database is zeer geschikt voor uitrol op grote schaal, geeft Pernsteiner aan. Het betekende ook dat VAST veel meer kon en ging doen met gestructureerde data. Verder werd het ook een catalogus vol metadata en bood het zo een volledige index van wat er op een systeem staat.

Compute naar de data brengen

De volgende stap in de evolutie van VAST was het verkleinen van de afstand tussen de data en de compute. Pernsteiner beschrijft dit als het zoeken naar een “kortere route naar de data”. Door zaken zoals de Spark engine in het VAST-platform zelf te embedden, leverde het als geheel meer intrinsieke waarde. Als je geen CPU-cycli of DRAM nodig hebt om data te verplaatsen, wint het platform aan efficiëntie, was het idee.

Verder heeft VAST Data ook nog een event broker geïntegreerd in het VAST Data Platform. Dit was nodig, omdat het bedrijf nog een stap moest zetten in wat Pernsteiner event-gedreven architecturen noemt. Wanneer data op het platform landt, schiet de event broker in actie. Dit is een realtime streaming engine die compatibel is met Apache Kafka. Het idee van VAST was om met deze integratie veel complexiteit weg te halen uit de data pipeline. Er zijn namelijk geen separate Kafka-clusters, externe brokers of extra beheerlagen meer nodig. Daarnaast bood dit de nodige mogelijkheden op het gebied van het automatiseren van flows op het Data Platform.

De ambitie van VAST om “de end-to-end data pijplijn in handen te hebben”, zoals Pernsteiner het noemt, werd vervolgens ook nog wat sterker aangezet door de ontwikkeling van een global namespace. In een wereld waarin data op meerdere plaatsen staat, zag VAST dat de standaarden voor on-prem (Cloudera) en cloud (Databricks) tegen beperkingen aanliepen. Bij het verplaatsen van data komen er voor beide omgevingen trade-offs bij kijken, bijvoorbeeld bijkomende kosten. Door het gebruik van een global namespace, die VAST de naam Global Access heeft gegeven, wil het bedrijf een slimmere manier bieden om data over verschillende locaties verspreid over de wereld te beheren.

Easy buttons voor enterprise AI

Met de opkomst van AI factories en de verschuiving van modeltraining naar inference (het toepassen van modellen), zag VAST een nieuwe uitdaging. Enterprises willen AI inzetten, maar missen vaak de expertise of de infrastructuur om complexe systemen zoals die voor Retrieval-Augmented Generation (RAG) te bouwen. Ze hebben behoefte aan easy buttons, volgens Pernsteiner.

Een van die easy buttons kondigde VAST Data eind 2024 aan met InsightEngine. Dit is een applicatieworkflow die op het VAST Data Platform draait. Deze workflow is gericht op een specifieke taak, het in real time binnenhalen en verwerken van alle enterprise data. De VAST Data InsightEngine maakt het dus mogelijk om real-time Retrieval-Augmented Generation (RAG) te doen. Bij RAG heb je altijd externe databronnen die je inzet om tot inzichten te komen. Als dat ongestructureerde databronnen zijn, moeten die eerst worden omgezet. Dat kan met InsightEngine dus allemaal binnen het platform van VAST Data. 

Een ander belangrijk onderdeel van het platform van VAST is de native vector database. Dat is het soort database dat nodig is om AI-workloads te kunnen draaien. Ook hier heeft VAST een eigen draai aan gegeven, horen we van Pernsteiner. “De meeste vector-implementaties zijn geoptimaliseerd voor snelheid, maar beperkt in schaal”, volgens hem. Ook ziet hij uitdagingen op het gebied van beveiliging als het gaat om vector databases.

Op dit punt komt de end-to-end controle van VAST Data over de data pipeline weer om de hoek kijken. Deze controle maakt het mogelijk om policies en Access Control Lists (ACL’s) die gelden voor de onderliggende objecten, direct toe te passen op de vectoren. Dit betekent dat een gebruiker nooit toegang kan krijgen tot een semantische zoekopdracht als hij geen rechten heeft voor het brondocument. Dit lost daarnaast ook meteen het probleem van data-silo’s in enterprises op. Bovendien heeft VAST datareductie diep in het platform ingebouwd, geeft Pernsteiner aan. De bloat die ontstaat door vectorisatie van data wordt hiermee gereduceerd.

AgentEngine koppelt pipelines aan het platform

Naast InsightEngine heeft VAST Data recent nog een andere engine toegevoegd aan het aanbod. AgentEngine kun je zien als een runtime voor het uitrollen van AI Agents en zit nog een laag hoger in het platform van VAST dan InsightEngine. Hiermee kun je elk gewenst onderdeel van het platform van VAST openzetten voor MCP. AgentEngine is dus ontwikkeld om de pipelines waar we het in dit artikel geregeld over hebben onderdeel van het platform te maken. Het is voor VAST een belangrijk onderdeel van de ontwikkeling van een OS voor AI.

Ook als het gaat om agentic AI, waarbij agents op basis van input uit meerdere modellen potentieel autonoom beslissingen kunnen nemen, is het belangrijk dat VAST heeft ingezet op het volledig in handen krijgen van de data pipeline. AgentEngine maakt van een data pipeline in feite een MCP tool. Daar hoort ook de end-to-end controle bij waar we het in de vorige paragraaf over hadden. Ook dit moet dus uiteindelijk functioneren als een easy button. Pernsteiner geeft echter ook toe dat het niet eenvoudig is om te standaardiseren op dit vlak. Nividia speelt hier een belangrijke rol in, maar met name on-prem zijn er allerlei enterprise-wensen en -eisen op het gebied van compliance die meegenomen moeten worden.

VAST wil dichter naar de GPU-laag toe

De evolutie van VAST Data stopt echter niet bij software-abstracties. Ook de onderliggende infrastructuur maakt onderdeel uit van de bredere visie van het bedrijf. “De volgende fase is dat we dichter en dichter naar de GPU-laag toe gaan bewegen”, geeft Pernsteiner aan.

VAST Data is in principe geen hardwareleverancier meer. Op de eigen website geeft het aan dat VAST verkocht wordt als software, maar geleverd en ondersteund wordt als een appliance. Dit doet het via partnerships met andere fabrikanten. Het partnership met Cisco is vrij bekend, maar er zijn er nog veel meer. Enkele jaren geleden lanceerde HPE bijvoorbeeld nieuwe Alletra MP file storage dat onder de motorkap gebruikmaakte van VAST Data-technologie. En zo zijn er nog veel meer partners.

Voor VAST betekent bovenstaande constructie dat het zich kan blijven focussen op waar het goed in is, terwijl het gebruik kan maken van de schaal van spelers zoals Cisco en HPE. Toch zit er nog wel ruimte voor verbetering. Vandaar dat VAST graag dichter naar de GPU-laag toe wil. “We zijn begonnen met het toevoegen van meer opties aan het platform, waarmee GPU’s vanuit het systeem beheerd kunnen worden”, geeft Pernsteiner aan. Dat is belangrijk volgens hem, omdat er zo nog meer uit de GPU’s gehaald kan worden. Het moet nog meer abstractie creëren, klanten moeten zo nog eenvoudiger data pipelines op kunnen zetten zonder dat ze zich bezig hoeven te houden met onderliggende zaken.

Levert VAST Data het OS voor AI?

Met het aanhalen van de banden tussen VAST Data systeem/platform en de onderliggende GPU’s komt de ambitie van VAST om een OS voor AI te worden in ieder geval weer wat dichterbij. Of datgene wat het bedrijf ontwikkelt ook echt hét OS voor AI is of kan worden, is nog maar zeer de vraag. Dat ligt eraan hoe specifiek je de definitie maakt. Er zijn namelijk nogal wat lagen binnen de infrastructuur waar wordt gewerkt aan iets soortgelijks.

We krijgen ongetwijfeld een enorme gelaagdheid aan OS’en voor AI, net zoals we dat ook met platformen en fabrics hebben gekregen. Kijken we echter naar de data pipelines en platformen die nodig zijn om AI in te kunnen zetten, dan heeft VAST Data wat ons betreft zonder meer recht van spreken. De steeds verdere en diepere integratie van de verschillende onderdelen van de data pipeline en inmiddels dus ook het lonken naar de GPU-laag, onderstrepen de ambitie in ieder geval.

De benadering van VAST is uiteraard niet alleen een potentieel gunstige ontwikkeling voor klanten, die steeds meer easy buttons krijgen om AI in te zetten. VAST zelf zal het ook geen windeieren leggen als ze de zaken end-to-end in handen krijgen en kunnen houden. Daar is overigens niets mis mee, zolang de balans tussen wat de klant eraan overhoudt en wat VAST eraan overhoudt maar goed is.