Nvidia: AI-fabriek verliest derde van zijn stroom

Nvidia: AI-fabriek verliest derde van zijn stroom

Van elke gigawatt die een AI-datacenter van het stroomnet haalt, wordt volgens Nvidia maar 60 tot 70 procent echt benut voor AI-werk. Nvidia en Vertiv willen dat verlies terugdringen en meten de opbrengst van een AI-datacenter in tokens per watt, oftewel, hoeveel output levert elke watt op. Ook Brussel wil dat datacenters zuiniger met stroom omgaan, maar kijkt met een nieuw energielabel naar het energie- en waterverbruik van het gebouw.

Rod Evans, vicepresident Supercomputing, AI Cloud Infrastructure en AI/HPC voor EMEA bij Nvidia, rekende het tijdens de jaarlijkse EMEA-persconferentie van Vertiv in Zagreb stap voor stap voor. Een AI-datacenter van een gigawatt verliest ongeveer 20 procent van de stroom aan het gebouw zelf: koeling, stroomverdeling en omzetting. Nog eens 10 procent gaat op aan racks die niet optimaal zijn ingesteld, en 10 procent aan storingen en herstarts. Wat overblijft, zo’n 600 tot 700 megawatt, doet het werk waarvoor het datacenter gebouwd is.

Dat werk bestaat steeds vaker uit inferentie: getrainde modellen die vragen beantwoorden en taken uitvoeren. De output daarvan wordt gemeten in tokens, de eenheden waarin een taalmodel tekst opknipt en verwerkt, grofweg een woorddeel. Datacenters die voor dat werk gebouwd zijn, noemt Nvidia AI-fabrieken: aan de ene kant gaat er stroom in, aan de andere kant komen er tokens uit. “Inferentie is de werklast en tokens zijn de nieuwe valuta”, zegt Evans.

Lange tijd bepaalde de chip hoeveel AI-capaciteit een bedrijf kon bouwen. Wie genoeg GPU’s kon kopen, kon groeien. Nu vormt steeds vaker de netaansluiting de bottleneck, want nieuwe datacenters wachten soms jaren op voldoende vermogen. Als de hoeveelheid stroom vastligt, telt vooral hoeveel werk je uit elke watt haalt, en daarom presenteren Nvidia en zijn partners ‘tokens per watt’ als de maatstaf waarop een AI-fabriek wordt beoordeeld. “Het eerste wat mijn cloudpartners willen weten, is hoe snel na het aanzetten de eerste token eruit komt”, zegt Evans. “Daar verdienen ze namelijk hun geld mee.”

Rek zit in software

Een deel van dat verlies van 30 tot 40 procent is volgens Nvidia te voorkomen. Evans noemt drie oorzaken: vermogen dat ongebruikt blijft staan, vaste en voorzichtige instellingen voor stroom en koeling, en ruime reserves voor storingen en uitschieters. “Een datacenter wordt eigenlijk ingericht op piekbelasting en uitval, niet op wat het meestal gebruikt.”

Voor de 10 procent vermogen die in de racks verloren gaat, zet Nvidia software in. Een rack uit de nieuwe generatie kan maximaal 224 kilowatt trekken, maar draait op de efficiëntste stand op 164 kilowatt. Binnen hetzelfde stroombudget passen dan meer racks, en volgens Evans levert dat vooral bij inferentie meer op dan alles op vol vermogen laten draaien. Voor training draait een cluster voluit, voor inferentie schakelt het naar de zuinige stand.

Nvidia bundelt die aanpak in DSX MaxLPS, onderdeel van zijn DSX-platform voor AI-fabrieken. Het bedrijf claimde half september op de AI Infra Summit, een vakconferentie in het Amerikaanse Santa Clara, dat MaxLPS tot 1,4 keer meer tokens per megawatt oplevert. In een technische toelichting spreekt Nvidia van tot 40 procent meer GPU-capaciteit binnen hetzelfde stroombudget.

Stroom achter de meter

Naast het verlies van 30 tot 40 procent binnen het datacenter is er nog een tekort dat al bij de netaansluiting ontstaat. “Je sluit een contract voor 100 megawatt, maar die krijg je nooit”, zegt Evans. “Met een beetje geluk komt er 93 megawatt binnen, en op sommige momenten van de dag nog minder.” Hij adviseert om dat gat in elk geval te dichten met eigen opwek op locatie, achter de meter, dus buiten het openbare net om. In de Verenigde Staten is dat vaak gas, in Europa eerder waterkracht, zon of wind.

Stroom is niet het enige dat de bouw van datacenters vertraagt. In de Verenigde Staten staat volgens Evans dit jaar 12 gigawatt aan nieuwe datacenters gepland, maar wordt er ongeveer 5 gigawatt opgeleverd, omdat vergunningen en voorbereidingen niet op tijd rond zijn. Voor 2027 staat 36 gigawatt gepland waarvan hij verwacht dat er zo’n 7 gigawatt wordt opgeleverd. Europa vangt volgens hem een groot deel van dat tekort op, met grote bouwprogramma’s in Spanje, Portugal, Scandinavië, maar steeds vaker ook Oost-Europa.

Een van die projecten is Lisbon Atlantic Hub, een schaalbaar, modulair datacenter bij Lissabon dat in 2028 opgeleverd moet worden, met Vertiv als partner. Executive director van de Hub, Jorge Paraiba, ziet dat bijna alle projecten vertraging oplopen, door vergunningen of door het net. “Heb je eenmaal stroom, dan krijg je andere uitdagingen”, zegt hij. “Maar de grootste uitdaging blijft een plek vinden waar vermogen beschikbaar is.” De Portugese Hub had volgens Paraiba geluk met een terrein op slechts een kilometer van het stroomnet.

Nieuwe valuta van AI

Paul Ryan, president EMEA van Vertiv, ziet dat de uitdaging per locatie verschilt. “Op de ene plek is er stroom, maar krijg je de vergunning niet rond”, zegt hij. “Op de andere is de vergunning zo geregeld, maar is er weer geen stroom. En soms heb je allebei, maar ligt de locatie zo afgelegen dat je de apparatuur er nauwelijks naartoe krijgt.” Vertiv kijkt volgens hem vooral naar de totale doorlooptijd, van opdracht tot werkend datacenter.

Vertiv levert vooral stroom- en koelsystemen binnen het datacenter, maar kijkt om sneller aan stroom te komen ook verder. Begin september kondigde het bedrijf de overname van UtilityInnovation Group aan, een specialist in microgrids: kleine, lokale stroomnetten met eigen opwek, achter de meter. “Daarmee breiden we ons aanbod verder uit in de stroomketen”, zegt Ryan. “Microgrids en geavanceerde vermogensregeling kunnen we vervolgens in onze fabrieken industrialiseren en overal ter wereld leveren.” Vertiv betaalt ongeveer 1,45 miljard dollar voor het bedrijf, plus mogelijk nog 1,15 miljard dollar als UIG zijn resultaatdoelen haalt.

Gautham Gnanajothi, senior vicepresident en Global Head of Best Practice Analytics bij onderzoeksbureau Frost & Sullivan, ziet die beweging in de hele sector. Stroom verandert volgens hem van een nutsvoorziening in een strategische voorwaarde die bepaalt waar en hoe AI-capaciteit kan worden gebouwd. “Rekenkracht en energie zijn de twee valuta van AI geworden”, zegt Gnanajothi. “De vraag is niet meer hoeveel rekenkracht je kunt kopen, maar hoeveel je kunt neerzetten, van stroom kunt voorzien, kunt koelen en rendabel kunt laten draaien.”

Racks richting megawatt

Ook binnen het datacenter verandert de stroomvoorziening, omdat het vermogen per rack blijft stijgen. Nvidia werkt volgens Evans toe naar racks van bijna een megawatt in 2028, ruim vier keer zoveel als de 224 kilowatt van nu. “Probeer je een megawatt per rack te leveren met de huidige stroomvoorziening, dan heb je 32 kabels per rack nodig”, zegt Evans. “Dat gaat nooit werken.”

Het antwoord daarop is 800 volt gelijkstroom. In de nieuwe opzet wordt de wisselstroom van het net in het datacenter omgezet naar 800 volt gelijkstroom, en pas in het rack naar 54 volt. Hoe hoger de spanning, hoe lager de stroomsterkte die nodig is voor hetzelfde vermogen, en dus hoe minder kabels er nodig zijn. Bovendien hoeft de wisselstroom van het net niet meer op meerdere plekken tot in de servers te worden omgezet (iedere omzetting kost immers vermogen). Evans verwacht dat de opbrengst van een AI-fabriek daardoor van 60 naar 80 à 85 procent kan stijgen.

Nvidia werkt daarvoor samen met Vertiv. Snel zal het volgens Ryan overigens niet gaan. “Dit wordt geen kwestie van een schakelaar omzetten”, zegt hij. “Vloeistofkoeling werd zo ongeveer binnen een jaar standaard, 800 volt gelijkstroom zal veel geleidelijker ingroeien, per toepassing en in het begin ook per locatie.”

Naast de stroomvoorziening verandert ook de koeling, de andere grote verliespost in een datacentergebouw. De racks van Nvidia’s Vera Rubin-generatie worden volledig met vloeistof gekoeld, inclusief de switches en voedingen, en hebben intern geen kabels meer. Het koelwater gaat er op 45 graden in en komt er op 65 graden uit. Water van 45 graden is volgens Evans vrijwel overal ter wereld beschikbaar, en omdat het in een gesloten circuit rondgaat, zijn minder koelmachines nodig en wordt 95 procent van het water hergebruikt.

Hergebruik restwarmte

Dat warme water hoeft bovendien niet verloren te gaan. Evans noemt stadsverwarming in Scandinavië, zalmkwekerijen die warm water nodig hebben voor jonge vis, en datacenters in bosrijke gebieden die met hun restwarmte hout drogen, zodat er geen vers gekapt hout, dat voor de helft uit water bestaat, over de weg hoeft. In Zweden gebeurt dat laatste al, vertelde Isabelle Kemlin, vicevoorzitter van de Swedish Data Center Industry Association, een dag eerder tijdens Vertiv Week 2026 in Zagreb. Ook in Nederland wordt restwarmte al hergebruikt. “In Rotterdam staat een datacenter in het oude logistieke gebouw van de Van Nellefabriek”, zegt Stijn Grove, directeur van de Dutch Data Center Association. “Dankzij die restwarmte is het monumentale complex grotendeels van het gas af.”

Rond die racks in een datacenter moet nog een complete infrastructuur voor stroom en koeling worden gebouwd, en daar richt Vertiv zich op. Normaal gesproken zetten verschillende leveranciers op locatie zes of zeven losse producten in elkaar, zoals schakelinstallaties, stroomrails en UPS’en, en testen die ter plekke. Vertiv levert volgens Ryan complete systemen die in de fabriek al samen zijn getest. “Dat versnelt de tijd tot de eerste token”, zegt Ryan, “maar het helpt ook je tokens per watt, omdat alle onderdelen als één systeem samenwerken”.

Maar voordat er in een fabriek iets wordt gebouwd, bestaat het datacenter al op de computer, als digital twin: een virtueel model waarin stroom, koeling en netwerk worden doorgerekend. Nvidia levert daarvoor een blueprint als onderdeel van zijn DSX-platform, dat volgens Evans moet voorkomen dat ieder datacenterbouwer op zijn eigen manier bouwt. Inmiddels werken er meer dan 250 partijen mee, en Vertiv ontwikkelt er zijn prefab datacenter voor Nvidia’s Vera Rubin-racks mee, OneCore Rubin DSX. Vertiv claimt in zijn Frontiers-rapport dat digital twins en prefab samen de tijd tot de eerste token met maximaal de helft kunnen verkorten.

Iedereen meet iets anders

Nvidia en Vertiv brengen hun ingrepen om het stroomverlies terug te dringen (van zuiniger ingestelde racks tot gelijkstroom, vloeistofkoeling en prefab) onder in één noemer: tokens per watt. Maar wat die maatstaf precies meet, hangt af van wie je het vraagt. Nvidia rekent vanaf het vermogen dat van het net komt, dus inclusief alle verlies in gebouw, racks en storingen. Vertiv omschrijft de maatstaf op zijn eigen slides als het beperken van het stroomverbruik van alle ondersteunende infrastructuur rond de chips.

Gnanajothi ziet operators naast PUE, de verhouding tussen het totale stroomverbruik en dat van de IT, steeds vaker kijken naar WUE en CUE, die het water- en koolstofverbruik meten. Tokens noemde hij in zijn presentatie niet. Ook Brussel kijkt naar energie en water. Datacenters vanaf 500 kilowatt krijgen vanaf 2027 een label dat hun energie- en waterverbruik zichtbaar maakt, maar ook wat ze bijdragen aan het net, bijvoorbeeld door restwarmte te leveren, schone opwek toe te voegen of flexibel in te spelen op de vraag. Een voorstel voor minimumeisen voor nieuwe datacenters volgt in het tweede kwartaal van 2027.

Hoe Nederland ervoor staat, is al deels zichtbaar. In het eerste rapport van de Commissie komen Nederlandse datacenters gemiddeld uit op een PUE van 1,17, wat de Commissie als uitstekend beschouwt, en een WUE van 0,70. Die cijfers rusten wel op een beperkte basis, want in de hele EU rapporteerde maar ongeveer 36 procent van de datacenters die dat moeten doen.

Ryan ziet in het label geen verrassingen en zegt dat Vertiv erop is voorbereid. Wel onderstreept het volgens hem dat beleidsmakers en de datacentersector in Europa op één lijn moeten komen om de snelheid te halen die de markt vraagt. Evans van Nvidia sloot zijn presentatie af met een oproep aan partners zoals Vertiv. “Samen willen we duurzame AI-datacenters bouwen”, zei hij, “waarin het niet draait om zoveel mogelijk vermogen, maar om zoveel mogelijk uit elke watt”.