AI in een box AIRI neemt beperkte infrastructuur op de schop

Stay tuned, abonneer!

Kunstmatige intelligentie (AI) staat hoog op de agenda binnen veel organisaties, maar een brede adoptie blijft voorlopig uit. Van de CEO’s van grote bedrijven gaf vorig jaar 81 procent aan dat zij het als één van de belangrijkste onderwerpen zien. Tegelijkertijd is slechts één op de twintig organisaties daadwerkelijk bezig met de technologie. Bedrijven worden onder meer tegengehouden door de beperkingen van bestaande infrastructuur. Om dit obstakel weg te nemen verscheen er recentelijk AIRI, oftewel Artificial Intelligence Ready Infrastructure.

Deze ‘AI in een box’ komt voort uit een samenwerking tussen Pure Storage en Nvidia, twee bedrijven die zich actief bezighouden met AI. Het idee van infrastructuur vervangen door middel van een box klinkt interessant. We wilden daarom wat meer te weten komen over hoe dit in elkaar steekt en gingen in gesprek met Marco Bal, Principal System Engineer bij Pure Storage Benelux. Wat hij bovenal duidelijk maakt is dat enterprises met de kant-en-klare oplossing de mogelijkheid krijgen om AI op schaal te ontwikkelen. Dit vanwege de slistand die plaatsvindt omdat projecten tegen grenzen aan lopen.

Software 1.0 en software 2.0

Het verschil zit hem in wat Bal aanduidt als software 1.0 en software 2.0: traditioneel versus AI. Voor de ondersteuning van beide types zijn er zowel andere hardware als andere vaardigheden van medewerkers nodig. Dit komt mede door de hoeveelheid data die geanalyseerd moet worden voor AI. Volgens hem is de toename van de hoeveelheid data op zich een goede ontwikkeling, aangezien deze leiden tot een verbetering van de technologie. Met meer goede data kan AI namelijk sneller en meer leren. De betere algoritmes spelen weliswaar ook een rol in deze verbetering, maar die is volgens Pure Storage minder groot.

De switch in vaardigheden is er één die een ander type werknemer verlangt. Traditioneel denken we bij software aan ontwikkelaars die code programmeren, maar in het geval van AI gaat het meer om de datawetenschapper. Er wordt gebruikgemaakt van neurale netwerken en men is zodoende niet bezig met het schrijven van code. Een datawetenschapper is bezig met waarde halen uit data, om het bruikbare ervan in te zetten voor AI.

Wat betreft hardware zijn er verschillende onderdelen die anders zijn dan bij software 1.0. Als processor gebruikt men allereerst een GPU in plaats van een CPU. GPU’s kunnen simpelweg meer rekenkracht leveren voor AI-doeleinden.

Overigens maakt dit GPU’s niet per definitie de beste keuze voor iedere toepassing. De kloksnelheid van een CPU ligt juist weer veel hoger dan die van een GPU. Exacte cijfers verschillen daarbij per model. In eerste instantie zou je dus denken dat software 2.0 nog verbeterd kan worden door nog wat extra snelheid te realiseren.

Verder verschillen andere hardware-onderdelen nog van elkaar. In onderstaande tabel legt Pure Storage software 1.0 en software 2.0 naast elkaar.

Alle componenten zijn uiteindelijk afgestemd op de manier van verwerken. Als seriële verwerking toegepast wordt op AI dan zou de doorvoertijd veel hoger liggen. Daarom gaat de voorkeur uit naar parallelle verwerking. Taken worden dan verdeeld over meerdere processoren, waardoor ze sneller uit te voeren zijn.

Stel: er zijn twee taken die ieder een halfuur in beslag nemen. In het geval van seriële verwerking gaat er dan gewacht worden op elkaar, waardoor de totale uitvoertijd uitkomt op een uur. Bij parallelle verwerking neemt het iets meer dan een halfuur in beslag door de verdeling van de taken. Zo is software 2.0 in de praktijk toch vaak sneller.

AIRI bestaat uit software 2.0-onderdelen

De belangrijkste inbreng van Pure Storage bij AIRI is het FlashBlade-systeem, een opslagoplossing die vanaf de grond af aan opgebouwd is voor parallelle verwerking. Alle workloads die hierop draaien zullen gedistribueerd worden over de blades die in het opslagsysteem zitten. Zo’n blade bevat een eigen hoeveelheid memory, capaciteit en CPU. Daardoor kunnen zowel capaciteit als prestaties schalen op het moment dat er uitgebreid moet worden. De AI in een box beschikt over 15 blades van 17 TB, in totaal de performance van 1,5 miljoen input/output operations per second (IOPS).

Nvidia komt met een tweetal oplossingen voor AIRI. Enerzijds is er de hardware in de vorm van vier DGX-1-systemen met Tesla V100 GPU. Deze zijn speciaal ontwikkeld voor deep learning-toepassingen en vier petaFLOPS aan prestaties. Het verbinden van de systemen gebeurt door middel van twee Aritsa 100 GbE switches.

Het software-deel van AIRI bestaat uit twee onderdelen. Het eerste is een geoptimaliseerd framework dat luistert naar de naam Nvidia GPU Cloud Deep Learning Stack. Het andere deel kokmt uit de koker van Pure Storage en wordt de AIRI Scaling Toolkit genoemd. De combinatie van deze componenten moet ervoor zorgen dat er binnen enkele uren kan worden begonnen met een project dat datawetenschappers bedenken, in plaats van dat het weken of maanden duurt eer het zover is.

Het resultaat is volgens Bal een AI in een box die 50 racks in een datacenter vervangt. Iets vergelijkbaars geldt voor de FlashBlade-systemen. Zo zou één FlashBlade in staat zijn om tot tien disk-systemen te vervangen. Dit resulteert dus niet alleen in meer kracht, maar ook ruimtebesparing. En dat voor iets wat Bal een compleet datacenter voor AI noemt.

Een onvermijdelijke verandering

Waar het uiteindelijk om gaat is het op het juiste moment op de trein stappen. AI blijft namelijk niet meer beperkt tot de wetenschap, de daadwerkelijke verbeteringen gaan we overal tegenkomen. In de gezondheidszorg betekent dit bijvoorbeeld dat er niet langer een professor nodig is om een diagnose te stellen. AI-oplossingen kunnen op veel grotere schaal en snelheid diagnosticeren dan mensen. In een dergelijke sector kan snelheid zeker voor de mensheid een verbetering betekenen. Daardoor kan de arts zich bezighouden met de wat meer geavanceerde taken. Menselijke inbreng zal er zeker aan het einde van de keten blijven. Het gaat vaak om het samenkomen van AI en een mens, waarbij de taken zich enigszins verplaatsen.

Anderzijds zijn er ook opkomende technologieën waar AI een centrale rol in speelt. Zelfrijdende auto’s genereren grote hoeveelheden data die verwerkt moeten worden. Daarvoor is veel rekenkracht nodig. Waardevolle inzichten en besluiten halen uit die data is iets waar menselijk werk niet aan te pas komt. Als we dat wel zouden doen dan duurt het namelijk te lang om over te gaan tot actie.

Dat maakt het inspelen op de vraag door Pure Storage en Nvidia een logische stap. We kunnen namelijk niet om AI heen. Het gaat niet meer om een nieuwe technologie, het gaat om technologie waar we al mee te maken hebben. Het is overigens nog wel altijd iets wat qua ontwikkeling nog in de kinderschoenen staat. De echt brede toepassing laat nog op zich wachten. Wellicht dat er dan iets nodig is als AIRI 2.0 of software 3.0.