Hammerspace Data System gebruikt Open Flash Platform om AI-storage te versimpelen

Hammerspace Data System gebruikt Open Flash Platform om AI-storage te versimpelen

Zonder data is er geen AI. Toch is data/storage lange tijd een wat ondergeschoven kindje geweest in AI, omdat met name compute maar ook networking meer aandacht kregen. Dat is aan het veranderen. Hammerspace komt tijdens Supercomputing deze week met het eigen Hammerspace Data System, een enkel datasysteem voor AI. Belangrijk onderdeel ervan is Hammerspace OFP, DPU-gebaseerde storage waarmee het de architectuur verder vereenvoudigt.

We volgen Hammerspace inmiddels al enkele jaren. Tot nu toe was het een softwarebedrijf en hield zich kort gezegd vooral bezig met het centraal beschikbaar stellen van alle data van een organisatie via een global namespace, het orkestreren van waar de data terechtkomt en het versnellen ervan.

Dat laatste is ook wel bekend als Tier 0. Hammerspace heeft enkele jaren geleden een manier ontwikkeld om de snelle NVMe-flash in GPU-servers, opslag die door Nvidia zelf eigenlijk nooit wordt gebruikt maar wel vaak gewoon in de GPU-servers zit, toch in te kunnen zetten voor zaken die de hoogste prestaties en dan vooral de laagste latency nodig hebben.

Van Data Platform naar Data System

Tot nu toe ging datgene wat het bedrijf aanbood door het leven als het Hammerspace Data Platform. Dat wordt dus vanaf vandaag het Hammerspace Data System. Het voegt niet alleen het al eerder genoemde Hammerspace Open Flash Platform (OFP) toe aan het aanbod. Daarnaast zien we ook Data Intelligence en een nieuwe Tier 0-oplossing.

De aankondigingen van vandaag zorgen er ook voor dat Hammerspace niet langer louter een softwareleverancier is. Het ontwikkelt nu ook storage-hardware en stapt samen met enkele partners in de verkoop van volledige systemen.

Wat is het Hammerspace Open Flash Platform?

Hammerspace was een kleine anderhalf jaar geleden een van de eerste leden van het Open Flash Platform-initiatief. Andere waren de Linux-community, Los Alamos National Laboratory, ScaleFlux, SK Hynix, and Xsight Labs.

Volgens de initiatiefnemers volstond/volstaat het bestaande model voor het koppelen van GPU’s aan data niet meer in een AI-wereld. Het moet efficiënter, sneller en minder complex. Het resultaat is een DPU-gebaseerde storagelaag die volledig in elkaar geschoven is. Dat wil zeggen, er is geen x86-gebaseerde server meer nodig en dus ook geen CPU. De GPU’s kunnen rechtstreeks naar de storage, waar de DPU’s in geïntegreerd zijn.

De DPU’s bevatten alle logica die nodig is. Dat is in de praktijk dat pNFS-logica, want dat is het protocol dat hier wordt gebruikt. Verder is er alleen een Linux-client nodig (en uiteraard GPU’s) om aan de slag te kunnen. Het feit dat het pNFS is, betekent dat metadata en data gescheiden kunnen worden en de prestaties heel hard doorschalen.

Klein, krachtig, schaalbaar

Met andere woorden, het is Hammerspace gelukt om AI-storage een enorm kleine voetafdruk te geven. De DPU’s nemen niet bijster veel ruimte in de beslag en de NVMe-drives in de appliance ook niet. In totaal kunnen er per rack unit (1U) 40 SSD’s in, verspreid over vijf sledes.

Iedere slede heeft een DPU (van Xsight Labs) en twee 400GbE-aansluitingen. In totaal kan er bijna 10 PB raw capacity in een enkele unit. Let wel, daarvoor moet QLC gebruikt worden. Voor de maximale leessnelheid van 400 GB/s moet dan juist weer TLC gebruikt worden.

Het wordt interessant om te zien hoe Hammerspace OFP zich als pNFS-product verhoudt tot hoe NetApp pNFS heeft ingezet in het recent aankondigde NetApp Novus. Twee verschillende benaderingen om in principe hetzelfde probleem op te lossen: data/storage niet langer de bottleneck laten zijn voor GPU-systemen. Het is dan niet alleen interessant om te kijken naar prestaties, voetafdruk en dergelijke, maar ook naar hoe eenvoudig het in te passen is in een bestaande omgeving. Iets nieuws zoals OFP zal in eerste instantie wellicht niet zonder slag of stoot gaan.

Data komt naar compute, niet andersom

In de praktijk kan dit betekenen dat er top-of-rack simpelweg een of twee van deze nieuwe units geplaatst worden, om vervolgens de rest van de racks met GPU’s vol te laden. Als alles werkt zoals Hammerspace zegt dat het werkt, is dit een uitermate efficiënte manier om storage toe te voegen aan compute.

Wat Hammerspace hier doet gaat wel een beetje tegen de stroom in. Heel veel leveranciers hebben het over de compute naar de data brengen. Hammerspace doet met OFP letterlijk het tegenovergestelde. Het brengt als het ware storage samen met compute in een enkel systeem. Het is in ieder geval een systeem dat als geheel kan worden aangeschaft en uitgerold. Voor dat laatste heeft Hammerspace ook al enkele partners opgelijnd: Cisco, Hitachi Vantara en Supermicro.

Data Intelligence

Naast de grote aankondiging van Hammerspace OFP zouden we bijna vergeten dat er nog een behoorlijk belangrijke aankondiging van het bedrijf is vandaag. Met Data Intelligence voegt Hammerspace namelijk iets heel belangrijks toe aan het volledige systeem dat het aan wil gaan bieden met het eigen Data System: inzicht in data, de mogelijkheid om in gesprek te gaan met die data en actie ondernemen als er bijvoorbeeld een policy moet worden ingesteld.

Zoals aangegeven is Data Intelligence zonder meer belangrijk. Hammerspace is echter niet de eerste die hiermee komt. Eerder dit jaar nog schreven we over hoe Everpure iets aankondigde dat niet alleen ook als Data Intelligence door het leven gaat, maar ook globaal hetzelfde doet.

Daarmee zeggen we niet dat de aankondiging van Hammerspace geen waarde heeft. Integendeel zelfs. Zonder Data Intelligence kun je geen Data System claimen, dus het is een uitstekende zet van het bedrijf. Het is alleen wel goed om te weten dat het niet enorm revolutionair is. In ieder geval niet zo vernieuwend als Hammerspace OFP, ook al zijn beide onderdeel van het grotere plaatje.