Vandaag lanceert Intel de eerste Xeon 6-processor voor datacenters en de langverwachte Gaudi 3 AI-chip. Xeon 6P is gericht op pure prestaties, terwijl het argument voor Gaudi 3 vooral gebaseerd is op lagere kosten en brede compatibiliteit.
Vorig jaar claimde Nvidia-CEO Jensen Huang dat organisaties wereldwijd hun datacenters moesten gaan ombouwen naar “AI-fabrieken”. Dat wil zeggen: infrastructuren met een hevige focus op GPU’s met een welhaast onverzadigbare stroomhonger. Intel ziet dat anders en richt zich op continuïteit. Niet gek, aangezien Xeons ondanks een dalend marktaandeel nog steeds de datacenterwereld domineren.
Xeon 6P: de krachtige optie
Voor het eerst bouwt Intel de Xeon-lijn op meerdere manieren: met performance cores (p-cores) én met efficiency cores (e-cores), maar niet samen. De microarchitectuur is per core hetzelfde als bij Meteor Lake, de laptopchips van eind vorig jaar voor thin-and-lights. Echter is er niet zozeer sprake van “Meteor Lake XL”, maar een tweedeling. Intel ziet namelijk dat sommige datacenterklanten vooral vragen om pure prestaties, terwijl andere partijen roepen om efficiëntie. Om beide kampen te bedienen, zijn er twee producten nodig.
Eerst lanceert Xeon 6P, met maximaal 128 cores. De packaging, ofwel de formatie van alle chipcomponenten, verschilt. Voor de 128 core-variant zijn er drie compute tiles nodig, terwijl varianten met enkele tiles 16 of 48 cores kunnen bevatten. De tussenvorm met twee tiles rekt tot 86 cores. Elke Xeon 6P wordt gebouwd met het Intel 3-proces voor compute, met de veel minder complexe I/O die op Intel 7.
Hierin borduurt Intel voort op de Lego-achtige constructies die moderne Intel- en AMD-chips adopteren. Elk onderdeel is modulair en er kan worden geschoven in de packaging voor meer cache, geheugen direct op de chip en/of voordeligere chipproductietechnieken voor onderdelen met een lagere complexiteit. Bij AMD valt de term “chiplets” regelmatig, bij Intel gaat het om “tiles” en is de precieze implementatie anders, maar fundamenteel zijn de voordelen en gedachteprocessen erachter vergelijkbaar.
Xeon 6P is een CPU en daardoor breed inzetbaar voor allerlei workloads. Toch zijn HPC en het wegwerken van grootschalige data workloads de belangrijkste taken. Op dat gebied is het prestatieniveau vaak met circa 30 procent hoger dan gold voor Xeon 5, zoals Intel uit eigen benchmarks toont. Belangrijker is de nagenoeg twee maal betere perf-per-Watt: dezelfde workload kost dus simpelweg de helft minder stroom.
Gaudi 3: een echte uitdager?
Gaudi 3 lanceert eindelijk, en dat heeft een lange aanloop gehad. In april wisten we eigenlijk al ontzettend veel over de GPU die Nvidia en AMD moet uitdagen. Net als toen is Nvidia’s H100, de oppermachtige AI-chip binnen datacenters, het vergelijkpunt. Hoewel de prestaties bij inferencing hoger liggen, is het Intel-verhaal rondom Gaudi niet zozeer gericht op pure prestaties. Efficiëntie en een lage TCO (total cost of ownership) zijn juist van het grootste belang. Wie inferencing uitvoert op Gaudi 3 en niet op de H100, is volgens Intel 1,8x goedkoper uit.
Lees meer over Gaudi 3: Intel Gaudi 3: de krachtigste AI-chip voor ongeduldige Nvidia-klanten
Het TDP is hoog met 600W, maar lager dan dat van de H100 (700W). 128GB aan HBM2e-geheugen maakt een enkele kaart inzetbaar voor kleinere GenAI-modellen.
In oktober verschijnen twee servers met Intel Gaudi 3-chips aan boord. Dell lanceert de PowerEdge XE9680 met luchtkoeling; Supermicro gaat met de X14 zowel lucht- als waterkoeling bieden. Voor laatstgenoemde geldt dat ook de Xeon 6-lijn plaatsneemt in de CPU-socket.
Dit zijn grote namen, maar het is bepaald geen lawine aan opties. Vergelijk het met de ellenlange lijst aan vendoren met Nvidia-machines (alleen al met de H100 aan boord) en het contrast is uiterst schril.
Wat Intel echter biedt, is een brede interoperabiliteit. In tegenstelling tot Nvidia’s eigen standaarden voor connectiviteit kiest Intel voor het welbekende Ethernet voor intercommunicatie tussen AI-chips. Dit is cruciaal voor GenAI-workloads die meerdere GPU’s tegelijk vereisen. Het verklaart tevens waarom Gaudi Gaudi 3 biedt als een accelerator-kaart, een “universal baseboard” met 8 Gaudi 3’s en een conventionele PCIe-videokaart.
Beluister ook onze Techzine Talks-aflevering over het lot van Intel, dat in zwaar weer verkeert: