Als geen ander zal Nvidia zich bewust zijn van de enorme vraag naar AI-vaardige hardware. Met DGX Cloud kunnen klanten AI-workloads draaien op huurbasis, waarmee de immense kosten voor een dedicated AI-supercomputer voorkomen worden.
Nvidia zit met een luxeprobleem. De vraag naar GPU’s is wegens de AI-hype enorm, aangezien Nvidia-chips momenteel nog altijd de beste prestaties leveren op dat gebied. Momenteel is die vraag dermate groot dat de techreus moeite heeft om de vraag bij te benen. Overigens is het bedrijf al met grote afstand de marktleider wat graphics betreft, met 90 procent marktaandeel in de enterprise-sector.
Beluister ook onze podcast over de machtspositie van Nvidia:
Dat betekent dat veel klanten vooralsnog weinig opties hebben om hun AI-workloads te draaien. On-prem is de oudere tech aanzienlijk trager, waardoor het trainen van grotere modellen erg tijdrovend kan zijn. Om te voorkomen dat men hierdoor gedwongen voor een kleinere schaal moet kiezen, wil Nvidia de meest capabele AI-hardware op huurbasis beschikbaar stellen.
Voor de cloud, vanuit Oracle of Nvidia zelf
Nvidia heeft zelf sterke cloud-capaciteiten, maar met de lancering van DGX Cloud is er al een partner van formaat: Oracle. Wie klant is bij dat bedrijf kan duizenden Nvidia GPU’s aanspreken via de Oracle Cloud Infrastructure. DGX Cloud zal in de toekomst ook op Azure en vervolgens op Google Cloud beschikbaar worden.
Voor on-prem klanten was een DGX-platform al beschikbaar, waarvan de nieuwste versie acht peperdure H100-GPU’s inzet die via de extreem snelle NVLink-interconnect met elkaar communiceren. Deze nieuwste variant heeft een duizelingwekkende 32 petaflops aan compute-prestaties, aldus de GPU-gigant. DGX Cloud kan ook samenwerken met clusters die lokaal beschikbaar zijn, maar op zichzelf is het al een AI-supercomputer.
Een overeenkomst met de on-prem variant is dat klanten met DGX Cloud kunnen rekenen op meer dan 100 AI-frameworks en voorgetrainde modellen. Daarop is voort te borduren met custom trainingsdata of eigen modellen. Voor veel bedrijven is het essentieel om de dataset in kwestie zoveel mogelijk onder controle te hebben. Daar waar een LLM als GPT-4 een soort manusje-van-alles is, willen organisaties veelal liever een model dat specifiek getraind is op relevante data. Daarnaast hebben bijvoorbeeld banken, zorginstellingen of juridische kantoren te maken met stricte compliance-wetgeving, waardoor trainingsdata moet voldoen aan deze eisen.
16 uur geleden
Expert bijdrage
