Nvidia gaat de Israëlische startup Run:ai overnemen voor 700 miljoen dollar. Met deze aanwinst hoopt de GPU-maker hardware-management een stuk eenvoudiger te maken. Ondertussen heeft Nvidia-CEO Jensen Huang persoonlijk het eerste DGX H200-systeem bij OpenAI afgeleverd.
Run:ai werkt al sinds 2020 samen met Nvidia en helpt organisaties om hun infrastructuur optimaal te benutten. Voor AI-taken en andere High Performance Computing (HPC)-workloads is het van belang om de (zeer prijzige) hardware zo zinnig mogelijk op te splitsen. Dat kan zich manifesteren als een onderverdeling tussen verschillende afdelingen, het prioriteren van specifieke taken of het monitoren van daadwerkelijk gebruik.
Klanten van Run:ai kunnen weinig turbulentie verwachten: Nvidia zal hetzelfde aanbod binnen het eigen platform blijven aanbieden. Aangezien de overgrote meerderheid van datacenters Nvidia-hardware inzet, is de stap naar de software-suite van dit bedrijf snel gezet.
Tip: Intel en Nvidia hebben radicaal andere visies op AI-ontwikkeling
Volgende stap
Nvidia neemt niet al te vaak partijen over, maar veelal zijn het betekenisvolle. Op softwaregebied richten de ingelijfde bedrijven zich vanzelfsprekend doorgaans op AI-ontwikkeling, waardoor ze naadloos integreren met het bestaande aanbod van Nvidia’s AI Enterprise-suite. Echter was de acquisitie van Mellanox de meest betekenisvolle, aangezien diens razendsnelle InfiniBand-connectiviteit de basis vormt voor de extreme schaalbaarheid AI-systemen die Nvidia tegenwoordig verkoopt.
De overname zal nog wel goedkeuring vereisen van competitiewaakhonden wereldwijd. Dit voorkwam eerder de acquisitie van chipontwerper Arm door Nvidia, hoewel dat een grote marktverschuiving had betekend – dat zou met Run:ai niet het geval zijn.
In het hier en nu geldt de Hopper-architectuur als de snelste optie binnen Nvidia’s hardware-aanbod. In de toekomst volgt Blackwell, dat in maart met veel bombarie werd aangekondigd. Een geëvolueerde vorm van de huidige hardware bevindt zich in de DGX H200, die zojuist voor het eerst is geleverd aan een klant. OpenAI was de gelukkige, waarbij CEO Sam Altman en president Greg Brockman Jensen Huang vergezelde om het apparaat te ontvangen. De boodschap op de DGX H200 luidt “om AI, computing en de mensheid vooruit te brengen”.
Dat OpenAI de eerste klant is, zou niet enkel een publiciteitsstunt zijn. Huang stelt dat alle kopers een eerlijke kans maken op hardware. De vraag naar AI-chips rijst al ruim een jaar de pan uit, met als concreet voorbeeld dat Dell eind 2023 klanten moest vertellen dat ze 39 weken moeten wachten op hun orders. Overigens laat Nvidia zelf weten dat de H200 nog niet direct aan te schaffen is.
Indien de bottleneck voor leveringen het videogeheugen is, dan maakt de H200 het probleem alleen maar erger. Terwijl H100-chips uitgerust zijn met 80GB aan HBM3, bevatten H200’s wel 141GB aan significant snellere HBM3e-modules.
Lees ook: Intel Gaudi 3: de krachtigste AI-chip voor ongeduldige Nvidia-klanten