Tijdens GTC in Berlijn werpt Nvidia haar netten uit. Voor de Europese AI-uitbouw is dan ook een breed scala aan bedrijven nodig. “Extreme co-design” is vereist om de vele takken van Nvidia-rekenkracht en -software optimaal te benutten, stelt CEO Jensen Huang.
Huang spreekt van het ‘verwerken van de gehele agent’, van de NVL72 compute node voor het verwerken van het model tot Vera MGX, CMX (opslag) en RTX nodes. Een enkele ‘computer’ is uit een rack te trekken als gewichtig geheel. Nieuwe chiptechnieken gebaseerd op fotonica waren in samenwerking met TSMC nodig om de gewenste bandbreedte en snelheid te krijgen.
DSX POD AI Factories verlagen idle time
De hardware is al bekend, maar tijdens GTC Berlijn kondigt Nvidia een nieuwe verpakking ervoor aan. DSX POD AI Factories zijn containers met alle benodigde rekenkracht voor AI-workloads. DSX POD zelf is een referentieontwerp dat vendoren zoals Dell, HPE, Schneider Electric, Vertiv en Bull aan de markt brengen.
De oplossing kent veel voorgangers: compacte IT-clusters gebruiken maar wat graag het ISO 668-standaardformaat van containers hiervoor. Nvidia stelt dat een bredere adoptie hiervan leidt tot deployment van maanden tot dagen. De units zullen vooraf getest zijn en clusters zijn zonder de constructietijd van grote datacentercampussen online te krijgen. Begin 2027 zullen ontwerpen gebaseerd op de DSX POD AI-referentie beschikbaar zijn.
Minder verbruik, minder water
DSX keert terug als naam voor de gehele architectuur van een AI-fabriek. Dit betreft alles binnen de IT-stack, van rekenkracht tot het netwerk, opslag, software, stroom en koeling. Om de adoptie van AI-tooling breder te trekken dan alleen “AI-native” spelers, zoals Huang ze omschrijft, is het nodig om flexibeler en voorzichtiger om te gaan met de beschikbare water- en stroomvoorraad.
Vera Rubin ondersteunt bijvoorbeeld koeling op 45 graden Celsius, met closed loops en droge koelers om waterconsumptie op termijn naar 0 te brengen. Dat bespaart volgens Nvidia zo’n 54 miljoen liter aan water per dag voor een 2 Gigawatt-cluster. Aangezien het een populaire vergelijking is: dat staat gelijk aan het watergebruik van 180.000 huishoudens.
Nvidia positioneert DSX MaxLPS als een slimme manier om met stroom om te gaan. Dynamische verdeling van de beschikbare energie zou moeten leiden tot 30 procent minder stroomverbruik binnen een bepaald budget, met hetzelfde aantal tokens als output. Op het niveau van het bredere stroomnet zorgt DSX Flex voor maximaal 40 procent minder stroomverbruik bij een cluster. Let wel: dat is een simulatie van Nvidia zelf. Via DSX OS is er gebruik te maken van een Config Manager, Rack Management Service en Cluster Readiness Engine om het dagelijks gebruik van de IT-infrastructuur te optimaliseren.
Conclusie: antwoord op problemen
De vereiste hardware en forse kosten voor de AI-uitrol zijn voor velen niet echt interessant meer. De economische instabiliteit die hieraan potentieel gepaard gaat daargelaten: er zijn simpelweg barrières die niets met die directe kosten of bevoorrading te maken hebben. Beperkte capaciteit rondom stroom, water en goedkeuring vanuit zowel de politiek als de samenleving hebben allemaal geen concrete oplossing. Wel is er een tijdelijke uitweg en een verzachting op komst: efficiënter verbruik, slimmere configuraties en meer overzicht zijn de handvatten die Nvidia biedt.
Het is veelzeggend dat Nvidia hier de nadruk op legt tijdens de Europese variant van haar grootste evenement. Europa loopt weliswaar achter als het gaat om de waardegeneratie van AI en het maken van modellen, maar het is allerminst duidelijk dat AI-labs Anthropic en OpenAI wel een zinnig, houdbaar businessplan hebben. Voor AI-gebruik in algemene zin lijkt er een pad naar winstgevendheid en zinvolle exploitatie te zijn. Het draait daarbij meer om het elimineren van problemen dan het produceren van nieuwe chips.
Dat “extreme co-design” is dus deels een samenwerking tussen onder meer Nvidia en TSMC voor fotonica, maar net zozeer vereist voor de uitrol van AI-infrastructuur in zijn geheel.
Lees ook: Nutanix zet in op Nvidia Rubin voor AI-infrastructuur