AI staat volop in de schijnwerpers, maar zonder een robuuste infrastructuur blijft het vooral bij beloften. Hoe zorg je ervoor dat je data, rekenkracht en governance op orde zijn om AI echt op schaal toe te passen? En hoe bouw je een fundament dat vandaag, morgen en overmorgen meegroeit met de eisen van steeds slimmer wordende algoritmes? We bespreken het in een rondetafelgesprek met experts van AWS, NetApp, Nutanix, Pure Storage, Red Hat en SUSE.
De stormachtige opkomst van generatieve AI heeft organisaties in hoog tempo richting experiment en implementatie geduwd. Maar wie verder kijkt dan de hype, ziet dat duurzame AI alleen mogelijk is als de onderliggende infrastructuur – van data-architectuur tot GPU-capaciteit – meegroeit. En dat vraagt om meer dan alleen technische upgrades.
Wat vandaag werkt, kan morgen alweer knellen. Denk aan de explosieve groei van modelgroottes, de toenemende eisen aan latency en privacy en de vraag naar schaalbare governance. AI-infrastructuur staat dus gelijk aan een strategisch vraagstuk: wat moet je nu al goed regelen om straks niet ingehaald te worden door je eigen ambities?
Praktische aanbevelingen
Het succesvol implementeren van artificial intelligence is dus sterk verweven met de onderliggende infrastructuur. Maar hoe je die AI-infrastructuur definieert, daar kan anders over gedacht worden. Een AI-infrastructuur bestaat sowieso uit verschillende componenten, wat ook goed terug te zien is aan de uiteenlopende achtergronden van de deelnemende partijen. Hoe kan je als klant precies het best kijken naar zo’n AI-infrastructuur?
Pascal de Wild van NetApp valt hierover direct met de deur in huis: “80 procent van alle AI-projecten faalt niet omdat de technologie tekort schiet, maar omdat je vooraf niet bepaalt waar je naartoe wilt.” Deze statistiek raakt de kern van het probleem. Een merendeel van de bedrijven bepaalt vooraf niet waar ze naartoe willen. Ze investeren een hoop geld om iets groots te bouwen, zonder een duidelijke gebruikstoepassing te definiëren. Ze gebruiken misschien maar een klein deel van de infrastructuur, wat duur is. “Uiteindelijk zal het resultaat ook bepalen wat je wilt bouwen, wat je erin kunt stoppen, welke software je gaat gebruiken en welke hardware”, schetst De Wild.
Voor bedrijven die aan de slag willen met AI-infrastructuur, is een gefaseerde aanpak belangrijk. Begin klein met een pilot, bepaal duidelijk wat je wilt bereiken en bouw stap voor stap uit. De infrastructuur moet meegroeien met de ambities, niet andersom. Een praktische aanpak moet voortkomen uit het voor ogen hebben wat de doelstellingen zijn. Dan is de software, middleware en hardware beschikbaar. Voor zo goed als elke use case valt te kiezen uit de benodigde en gewenste componenten.
Verschillende behoeften per bedrijf
Ook Felipe Chies van AWS ziet dat het cruciaal is wat je als bedrijf wil doen met de AI-infrastructuur. Niet iedere organisatie heeft dezelfde infrastructuurbehoeften. Generatieve AI is veel naar voren gekomen als gewenste toepassing. Maar er zit een verschil tussen het gebruiken van een beschikbaar foundation model of het bouwen van een eigen model. “Dan kijk je naar de GPU’s, networking, storage en alles daaromheen. Dus ook naar de end-to-end tools die je daarbij kunnen helpen”, geeft Chies aan. Voor veel bedrijven volstaat echter een API-koppeling naar bestaande AI-diensten. De cloud fungeert dan als abstractielaag waarbij de onderliggende complexiteit wordt weggenomen.
Bedrijfsgrootte speelt ook een rol in het bepalen hoe jouw AI-infrastructuur er idealiter uitziet. Een beheerde clouddienst kan in veel gevallen volstaan, zodat met beschikbare tooling en aangeboden infrastructuur toch relatief eenvoudig AI in productie gebracht kan worden. Zelf een groot model bouwen is immers weggelegd voor een klein gedeelte van de bedrijven. Wanneer dat het geval is, dan is het zaak met de verschillende bouwblokken een AI-infrastructuur op te zetten die voldoet aan jouw eisen.
Complete stack als fundament
Het opzetten van AI-infrastructuur begint vaak klein, bijvoorbeeld met een pilotproject waarbij een krachtige GPU en een dataset worden ingezet om een model te trainen. Wie vervolgens verder kijkt dan de eerste experimenten, ziet al snel dat er veel meer nodig is. Ruud Zwakenberg van Red Hat benadrukt dat het uiteindelijk draait om het bouwen van intelligente applicaties die concrete use cases ondersteunen. Zwakenberg beaamt dat hierin de use case heel belangrijk is. Wil je een serieuze intelligente applicatie bouwen en aanbieden, dan zal dat een grote GPU vereisen. Ook heb je tooling nodig, alsmede een platform, orkestratie, besturingssystemen en een manier om data te verzamelen.
Zodra AI daadwerkelijk in productie wordt genomen, komen er extra eisen om de hoek kijken: veiligheid, monitoring en beheer. De hele stack moet robuust en betrouwbaar zijn, zodat de applicaties blijven draaien zoals bedoeld. Zwakenberg: “Als je echt intelligente applicaties wilt bouwen, heb je behoorlijk wat nodig. En vanuit klantperspectief valt dat allemaal onder infrastructuur.” Daarmee laat hij zien dat AI-infrastructuur een breed begrip is dat alle lagen van de technische stack omvat en dat het succes van AI-initiatieven valt of staat met de juiste integratie van al die bouwstenen.
Verschuiving naar kleinere modellen
Aan tafel ontstaat ook een extra discussie over het vinden van de juiste balans tussen capaciteit en kosten bij het opzetten van een AI-infrastructuur. Zeker als het gaat om GPU’s, die vaak duur en schaars zijn, is het cruciaal om niet te overdimensioneren. Organisaties moeten nauwkeurig afwegen welke rekencapaciteit echt nodig is voor hun specifieke AI-toepassing. Dat betekent ook kritisch kijken naar het type model dat wordt ingezet. Groter is in dit geval niet altijd beter, zo is de laatste maanden in de praktijk gebleken. Het trainen of inzetten van een model dat 150 talen beheerst is overbodig als de bedrijfsbehoefte zich beperkt tot enkele talen. Het juiste formaat kiezen voorkomt onnodige verspilling van middelen.
Tegelijkertijd vereist het AI-landschap een hoge mate van flexibiliteit. Technologische ontwikkelingen gaan snel, modellen veranderen en de eisen vanuit de business kunnen van kwartaal tot kwartaal verschuiven. Daarom is het zaak om een infrastructuur op te zetten die niet alleen schaalbaar is, maar ook snel aangepast kan worden aan nieuwe inzichten of veranderende doelstellingen. Denk aan de mogelijkheid om rekencapaciteit dynamisch op- of af te schalen, modellen te comprimeren waar nodig en tooling in te zetten die meebeweegt met de eisen van de use case. Zo blijft de infrastructuur toekomstbestendig en kostenefficiënt.
Hybride capaciteit
Waar veel gesprekken over AI-infrastructuur zich toespitsen op GPU-capaciteit, wijst Marco Bal van Pure Storage juist op het belang van de volledige datapijplijn. Niet elke stap in het AI-proces vraagt om dezelfde rekenkracht. GPU’s zijn uitermate geschikt voor parallelle verwerking, zoals bij training van modellen, maar bij andere, complexere taken zijn CPU’s juist effectiever. In de praktijk komt het neer op een combinatie van verschillende resources, afgestemd op het type bewerking en de fase in de workflow. Een goed ontworpen infrastructuur maakt die mix mogelijk, ongeacht of het model draait in de cloud of on-premises.
Bovendien veranderen AI-projecten zelden linea recta van idee naar eindresultaat. Naarmate projecten vorderen, verschuiven use cases, wijzigen gewenste uitkomsten en worden aanvullende databronnen toegevoegd. Al die factoren hebben invloed op de schaalbaarheidseisen van de infrastructuur. Dat vraagt om een architectuur die net zo flexibel en schaalbaar is als wat organisaties gewend zijn van de public cloud. “De meeste projecten beginnen met een idee, maar onderweg verandert er van alles – en dat heeft impact op wat de infrastructuur moet aankunnen”, aldus Bal.
Kloof tussen platform en applicatie
Bij het ontwerpen van AI-infrastructuur draait het ook om organisatie, merkt Eric Lajoie van SUSE op. Hij ziet bij klanten regelmatig spanningen tussen het platformteam en het applicatieteam. Beide zijn ze cruciaal voor AI-implementaties, maar vaak verschillend in focus. Waar het platformteam zich bezighoudt met zaken als schaalbaarheid, security en infrastructuurkeuze, is het applicatieteam vooral gericht op het oplossen van een businessprobleem. “Ze geven eigenlijk niks om het platform. Of het nu SaaS is of on-prem, het draait allemaal om de businesscase die ze moeten oplossen”, observeert Lajoie. Deze gescheiden denkrichtingen kunnen AI-projecten frustreren als er geen gezamenlijke visie is.
Daarnaast speelt de keuze tussen cloud en on-premises een steeds grotere rol in gesprekken over soevereiniteit en controle. Lajoie ziet dat organisaties met strenge compliance-eisen bewust kiezen voor air-gapped infrastructuren, waarbij geen enkele verbinding met het internet is toegestaan. In zulke gevallen komen volledig beheerde SaaS-oplossingen niet in aanmerking en moet alles lokaal draaien, van AI-modellen tot dataopslag. Tegelijkertijd willen applicatieteams soms gewoon een API aanspreken en betalen per gebruik. De infrastructuurkeuze is dan geen technische discussie, maar een afweging tussen controle, risico en snelheid.
De wens van eenvoud
Ricardo van Velzen van Nutanix benadrukt dat on-premises AI-infrastructuur technisch gezien vergelijkbaar moet zijn met cloudoplossingen, vooral vanuit het oogpunt van IT-beheerders. Waar data scientists de infrastructuur zien als een API waarmee ze kunnen werken, is het voor IT-admins vaak een heel andere wereld. “IT-beheerders zijn gewend aan het opzetten van virtuele machines en eenvoudige tools, maar cloud-native technologieën voelen voor hen vaak complex aan”, legt Van Velzen uit. Die complexiteit kan leiden tot weerstand of fouten in het beheer.
Volgens Van Velzen is het daarom cruciaal dat on-premises platforms dezelfde gebruiksvriendelijkheid en schaalbaarheid bieden als public cloud-omgevingen. Dit betekent dat de tooling rond opslag en beheer intuïtief moet zijn en het onderhoud en de controle zo eenvoudig mogelijk maakt. Zo kunnen organisaties profiteren van de voordelen van on-premises infrastructuur zonder in te leveren op flexibiliteit of beheerbaarheid.
Een gelijkwaardige ervaring tussen on-premises en cloud helpt organisaties bovendien om soepel te schakelen tussen beide omgevingen, wat essentieel is in een hybride wereld. Door IT-teams vertrouwd te maken met moderne, cloud-native platformen die makkelijk te beheren zijn, wordt de adoptie van AI-infrastructuur versneld en worden operationele risico’s geminimaliseerd.
AI-infrastructuur ondersteunt strategie
De succesvolle inzet van AI vraagt onder de streep veel meer dan enkel de nieuwste technologieën. Het gaat om een doordachte en flexibele infrastructuur die meegroeit met de veranderende eisen van organisaties en technologieën. Van data-architectuur tot compute-capaciteit en van governance tot operationeel beheer: alles moet naadloos op elkaar aansluiten. Dan kunnen bedrijven hun AI-ambities waarmaken.
Daarnaast laat het rondetafelgesprek zien dat organisatie en samenwerking minstens zo belangrijk zijn als techniek. Het overbruggen van de kloof tussen platform- en applicatieteams, het goed afstemmen van verwachtingen en het kiezen van de juiste infrastructuurvorm – on-premises, cloud of hybride – zijn essentieel om AI-projecten succesvol te laten landen. Eenvoud en beheersbaarheid, ongeacht de gekozen omgeving, blijken daarbij sleutelwoorden.
Dit was het eerste verhaal binnen onze AI-infrastructuur-reeks. In het volgende artikel bespreken we dat de AI-golf organisaties dwingt hun infrastructuur te herzien.