HPE heeft zijn eerste order voor het AMD Helios AI-rack binnen. Vultr betaalt 1,2 miljard dollar voor de systemen. Ze komen niet geheel verrassend in Amerikaanse datacenters te staan. Elk rack telt 72 Instinct MI455X-GPU’s, die via Ethernet-switches van HPE Juniper Networking met elkaar zijn verbonden.
Het gaat om de eerste bestelling voor het nieuwe Helios-systeem van HPE. Vultr zet de racks in voor modeltraining en inferencing. Daarmee wil het bedrijf naar eigen zeggen voldoen aan de vraag van MSPs en eindgebruikers. Alleen Nvidia-rekenkracht lijkt niet meer toereikend; AMD heeft met Helios voor het eerst een rackscale alternatief.
De vraag naar AI-compute blijft groot, zo stelt ook Vultr-CEO J.J. Kardwell. Zijn bedrijf loopt nog altijd voor op de beschikbare capaciteit, oftewel: de vraag is groter dan het aanbod. Met Helios kan Vultr naar eigen zeggen sneller rackscale rekenkracht en scale-up networking voor klanten beschikbaar maken.
Er is ook een andere connectie vanuit de HPE-kant. Vultr werkt al bijna drie jaar met Juniper Networks, dat inmiddels onderdeel is van HPE.
72 GPU’s via Ethernet verbonden
AMD kondigde het AMD Helios-rack aan als AI-systeem op basis van Ethernet, in tegenstelling tot de prioriteit die Nvidia’s eigen InfiniBand heeft in de eigen racksystemen. Het volgt de Open Rack Wide-specificaties van het Open Compute Project en maakt gebruik van liquid cooling. Elk rack combineert 72 AMD Instinct MI455X-GPU’s met Epyc Venice-CPU’s, Pensando Vulcano AI-NIC’s en de ROCm-softwarestack. Zes HPE Juniper Networking QFX5252 switch trays per rack verbinden alle GPU’s. Ook ondersteunt het ontwerp open fabrics zoals UALink over Ethernet (UALoE).
De specificaties zijn op sommige punten sterker dan die van Nvidia, de marktleider. AMD claimt tot 2,9 exaflops aan FP4-rekenkracht en 31 TB HBM4-geheugen per rack. Dat zou 50 procent meer HBM-capaciteit zijn dan bij Nvidia’s Vera Rubin NVL72, de directe concurrent.
“AMD Helios by HPE toont het unieke vermogen van HPE om de complete AI-architectuur te ontwerpen, met rack-scale compute, scale-up networking en direct liquid cooling”, zegt HPE-CEO Antonio Neri.
AMD verzamelt grote afnemers
Vultr is een van meerdere partijen die AMD-rackscale heeft ons md. Meta gaat ook 6 gigawatt aan AMD-GPU’s uitrollen voor zijn AI-infrastructuur. Daarvoor sloot OpenAI al een deal van 90 miljard dollar met de chipmaker.
HPE brengt het Helios-rack uit onder in zijn AI Data Center Solutions-portfolio. Voor de uitrol en de liquid cooling van grote AI-clusters biedt het bedrijf ondersteuning via HPE Services, zodat de complexe en zware systemen naar behoren deployen en blijven draaien.