Het opschalen van datacenters moet anders, denkt Nvidia. Alleen door verschillende locaties te koppelen, kan de gewenste AI-capaciteit ontstaan. Daarvoor is er naast scale-up en scale-out ook ‘scale-across’ nodig.
Het middel om dit te bewerkstelligen is Nvidia Spectrum-XGS Ethernet. Deze technologie, een voortzetting van het bestaande Spectrum-X Ethernet-platform, biedt ruimte om AI-chips uit verschillende locaties zich te laten gedragen als één reusachtige ‘superchip’.
Derde pilaar
De grenzen van de groei binnen datacenters zijn vrij snel merkbaar. Deze locaties hebben een harde limiet wat de ruimte betreft en kunnen veelal niet meer dan een vaste hoeveelheid stroom verbruiken. Scale-up, ofwel het uitbouwen van een enkel systeem of een rack, wordt verder beperkt door infrastructuur zoals de waterkoeling. Er is nu eenmaal een maximaal wattage dat via de bestaande installatie af te dekken is. Tegelijk is het aantal plekken beperkt, dus scale-out, ofwel het toevoegen van meer racks, meer servers, et cetera, kent ook een harde grens.
Zo komen we tot scale-across, waarbij de limiet tot nu toe draait om de infrastructurele realiteit. Hoewel datacenters onderling razendsnel communiceren, zijn de vereisten voor een AI-workload zeer hoog. Synchronisatie langs alle processoren kost in hardware-termen een eeuwigheid. Hier moet Spectrum-XGS Ethernet verandering in brengen. Nvidia spreekt hierbij over AI-‘superfabrieken’.
Automatische congestion control van het netwerkverkeer, latency management en end-to-end telemetrie werken samen aan een 1,9x prestatiewinst ten opzichte van de gebruikelijke netwerksnelheden tussen datacenters. Dit op basis van een benchmark gebruikmakend van Nvidia’s Collective Communications Library (NCCL, uitgesproken als ‘Nikkel’).
Niet geheel verrassend is AI-capaciteitsspecialist en innig Nvidia-partner CoreWeave een early adopter. Medeoprichter en CTO bij dat bedrijf Peter Salanki gelooft dat deze stap “giga-schaal” AI mogelijk maakt.
Spectrum-X Ethernet-basis
De grote stap vooruit van Nvidia kon niet plaatsvinden zonder het bestaande Spectrum-X Ethernet. Hoewel Nvidia graag de eigen interconnectiviteitsstandaard InfiniBand aanmoedigt binnen datacenters, is de realiteit dat Ethernet alomtegenwoordig is. Spectrum-X levert vergelijkbare snelheid, schaal en latency over de gehele linie.