AMD wint terrein met Epyc in servers – en groeit overal

Een AMD-chip in datacenters, op fabrieksvloeren en in auto's

AMD wint terrein met Epyc in servers – en groeit overal

AMD loopt op allerlei fronten in op Intel, of het nu om chips gaat bedoeld voor laptops, desktops of datacenters. Wat is het geheim achter de AMD-opmars, met de Epyc-lijn voor servers in het bijzonder? En hoe past het binnen het grotere portfolio van het bedrijf? We bespraken het met Alexander Troshin, Product Marketing Manager – EMEA bij AMD’s Enterprise & HPC Server Business Unit.

Troshin is er duidelijk over: voor zowat elke use-case heeft AMD een processor klaarstaan. Van de embedded-wereld op fabrieksvloeren tot kantoren en hyperscale-datacenters, overal is er een AMD Epyc of Ryzen te plaatsen. Het geheim achter deze brede inzetbaarheid is Zen, de chiparchitectuur die dienst doet in allerlei verschillende domeinen.

Chiplets voor iedereen

De wederopstanding van AMD is al jaren geleden ingezet, met Zen als voornaamste aanjager. Sinds 2017 biedt het bedrijf de Ryzen- en Epyc-series met deze gemeenschappelijke architectuur. Ryzen is bedoeld voor desktops en laptops, Epyc is van oudsher de server-gebaseerde chipserie.

Elke Zen-gebaseerde processor bestaat uit chiplets, ook wel “core complexes” of CCD’s in de AMD-volkstaal. Het voornaamste voordeel van chiplets is dat processoren er enorm schaalbaar door worden. AMD knoopt namelijk naar wens verschillende CCD’s aan elkaar, zodat een Ryzen-chip 4, 6, 8, 12 of 16 cores kan draaien, terwijl de op servers gerichte Epyc-serie verder opschaalt naar 32, 64, 96 of zelfs 128 cores op een enkele processor. Het doet in zekere zin denken aan Lego, ware het niet dat de schaal ervan zo klein is dat enkel de op nanometers functionerende ASML-machines nauwkeurig genoeg zijn om het bouwwerk in elkaar te zetten.

Toch hoeft ook Epyc niet per se groot zijn. Opvallend was de Epyc 4004-serie uit mei, dat helemaal niet lijkt op een serverchip. Een Epyc 4004-chip is namelijk voorzien van exact dezelfde vormfactor en AM5-socket als Ryzen-processoren voor desktops. Ze bieden wel meer functionaliteit dan Ryzen. Daarnaast hebben Epyc 4004-chips veel meer validatiestappen moeten doorgaan. Denk hierbij aan de ondersteuning voor software RAID, dat gegevens dupliceert om dataverlies te voorkomen, of PCIe-hotswapping waardoor SSD’s of andere randapparatuur zonder een herstart verbonden worden. Daarnaast ondersteunt Epyc 4004 officieel ECC (Error Correction Code) DRAM, ofwel veiliger systeemgeheugen dan DRAM voor consumenten. Deze serie chips schaalt tot 16 cores en 32 threads, maar bevat ook een instapper met slechts 4 cores en 8 threads. Epyc 4004 is bedoeld voor organisaties met zuinige IT-eisen. Denk aan mkb’ers met bijvoorbeeld een paar winkelfilialen, of organisaties die een e-mailserver of CRM-systeem willen draaien en niet meer dan dat.

Troshin legt uit dat deze soort klant helemaal niet alle features nodig heeft van Epyc. “Soms willen mensen alleen advertenties plaatsen op winkelschermen.” Zo simpel kan de inzet van Epyc dus zijn, maar dan nog is het van belang om een zo betrouwbaar mogelijk product te bieden, bijvoorbeeld met ECC-geheugen. Toch is het een feit dat je bij Epyc eerder denkt aan grote, ronkende servers waarbij dozijnen aan cores tegelijk forse HPC-workloads wegwerken. De inzetbaarheid op zowel grote als kleine schaal geeft volgens Troshin juist de kracht weer van AMD’s aanbod. “We ontwierpen Zen vanaf het begin om met veel verschillende applicaties uit de voeten te komen.” Het succes van die aanpak is allang gebleken.

Ondersteuning vanuit de markt

Dat AMD steeds meer aanslaat sinds de Zen-koerswijziging, is ook duidelijk. Op desktops is het wereldwijde marktaandeel inmiddels bijna 24 procent, terwijl één op de vijf laptops een AMD-chip draait. Dat was ooit anders: Intel heeft naar schatting ooit 90 procent van beide markten in bezit gehad. Nog steeds zijn Intel-chips de norm op het gebied van client-pc’s, maar AMD’s imposante benchmarks en veelal voordelige prijzen vinden zeker een publiek. Of het bedrijf ooit Intel weer echt op de hielen kan zitten zoals rond 2005 het geval was, moet nog blijken.

Op de servermarkt liggen de verhoudingen net wat anders. Weliswaar is ook daar het marktaandeel bijna 25 procent, maar AMD behaalt tegenwoordig zelfs eenderde van de totale omzet uit de servermarkt. Dat is veelzeggend: klanten zijn bereid om meer geld voor een AMD Epyc neer te tellen dan voor een Intel Xeon. De steun vanuit de industrie is absoluut nodig voor het succes van Epyc, dus de marktpositie van het bedrijf is voor een groot deel afhankelijk van goede relaties met OEM’s die de datacenterproducten aan de man brengen. OVHcloud levert de Epyc 4004 bijvoorbeeld al sinds de introductie ervan in april, net als Lenovo en Supermicro. Steeds meer van deze OEM’s bieden AMD-producten aan. Het is een succesverhaal dat vooralsnog niet herhaald wordt op het gebied van met name laptops, waar Intel-producten van deze OEM’s de Amazons en bol.coms van deze wereld domineren.

Onder de streep vat Troshin het als volgt samen: “Vanuit het perspectief van consumenten, partners en verspreid over het gehele ecosysteem bezitten we eenderde van de wereldwijde markt.” Er is nog zeker ruimte voor groei, maar AMD is uit het diepe dal van circa 2015 ontsnapt met dank aan Zen en een voortdurende uitrol van nieuwe producten. Ondertussen treuzelde Intel behoorlijk, met spaarzame jaarlijkse verbeteringen, of dat nu om client- of server-producten ging. AMD profiteerde daarvan en haalde Intel op de beurs in. Tegenwoordig zijn de bedrijfswaardes nauwelijks met elkaar te vergelijken; afgerond 251 miljard dollar voor AMD en 92 miljard voor Intel, op moment van schrijven.

Open standaarden

Geen techdiscussie anno 2024 kan om AI heen. Qua hardware is er maar één speler waar de gemiddelde IT’er direct aan denkt: Nvidia. Eventjes oversteeg de beurswaarde van het bedrijf dat van elk ander, gedreven door de totale dominantie die het kent als het om GPU’s in datacenters gaat. Deze chips draaien de zwaarste AI-workloads zoals het trainen en finetunen van modellen.

AMD biedt een tegenhanger voor Nvidia’s onvolprezen H100-GPU’s. De Radeon Instinct MI300-serie is niet de focus van onze discussie met Troshin, maar binnen het grotere AMD-verhaal zijn ze onmisbaar. CEO Lisa Su sprak eind vorig jaar al hoge verwachtingen uit over de impact op de markt die AMD met de MI300 kan maken. De positieve beurskoerzen zijn net zo goed te danken aan de divisie die datacenter-GPU’s bouwt als de Epyc- en Ryzen-teams.

Troshin benadrukt opnieuw de schaalbaarheid van AMD, ook op AI-gebied. Sinds kort zijn er voor eindgebruikers ook Ryzen-chips met een NPU aan boord. Deze NPU’s zijn bedoeld om de veelbesproken sprong naar de AI-pc te maken en om aan Microsoft’s vereisten voor een Copilot+-pc te voldoen. Net als Intel gelooft AMD ten zeerste in de kansen van AI voor desktop- en laptopgebruikers, voor alles van gepersonaliseerde AI-chatbots tot AI-afbeeldingen en AI-dagplanningen. Deze “doodgewone” processoren die steeds vaker met een NPU op komen dagen, spelen een belangrijke rol in de AI-infrastructuur die op den duur moet verschijnen. Niet alles zal in de cloud draaien, dat is simpelweg niet betaalbaar, rendabel of uit privacy-overwegingen wenselijk.

Eén factor moet niet onderbelicht blijven in dit AI-verhaal, stelt Troshin, en dat is het netwerk. Networking is essentieel om GPU’s van (bedrijfs)data te voorzien en om verschillende processoren aan elkaar te verbinden. Voor het trainen van de grootste AI-modellen zijn er bijvoorbeeld duizenden GPU’s nodig. Die vereisen op hun beurt een forse, snelle networking-infrastructuur.

Open of dicht?

Nvidia richt zich op hun eigen interpretatie van networking: NVLink en NVSwitch. Deze technologieën maken het mogelijk talloze GPU’s te laten functioneren alsof ze één enkele processor zijn. Nagenoeg alle andere spelers op de markt hebben een alternatief voorhanden dat velen bekend voor zal komen: Ethernet. AMD, Arista, Broadcom, Cisco, Eviden, Intel, Meta, Microsoft en Oracle zijn allen lid van het Ultra Ethernet Consortium (UEC). Het is de organisatie waarin deze partijen de flexibiliteit, schaalbaarheid en kracht van de alom aanwezige Ethernet-standaard benadrukken. Verschillende werkgroepen richten zich op het verminderen van latency, het ondersteunen van compliance en meer.

Troshin spreekt over een gebalanceerde aanpak. Het UEC draait namelijk om meer dan alleen Ethernet-kabels en de verspreiding ervan in datacenters. Zo is er een storage-werkgroep die mechanismes bouwt om HPC-workloads sneller met opslag te laten interageren. “Een snelle CPU of GPU helpt niet als je storage te traag is en andersom,” luidt zijn uitleg. Een volwassen, wereldwijde AI-infrastructuur vereist snellere en harmonieus samenwerkende CPU’s, SSD’s, networking én GPU’s. Alles kan een bottleneck zijn afhankelijk van het scenario. Ethernet is een belangrijk puzzelstuk, want zonder een goed uitgedacht netwerkmedium heb je geen schaalbaarheid, maar uiteindelijk is het slechts één component.

Optimalisaties

Optimalisaties zijn alsnog nodig, weet ook AMD. Voor AI is de ROCm-stack van groot belang. Het biedt (net als CUDA bij Nvidia) de optimalisaties die nodig zijn om libraries zo snel mogelijk te draaien op AMD-hardware. Elke Radeon-GPU werkt er mee samen. Dat omvat reusachtige datacenter-GPU’s maar ook onboard graphics in thin-and-light laptops. Ontwikkelaars kunnen hun AI-workloads daardoor schalen van klein naar groot. De ondersteuning is in feite net zo imposant als bij Nvidia, zoals voor onder meer Hugging Face, PyTorch en TensorFlow. “We willen ervoor zorgen dat de out-of-the-box-ervaring, de deployment-ervaring en de snelheid ervan naadloos is,” zegt Troshin.

Die missie kan AMD niet alleen voltooien, zo bleek opnieuw onlangs. Het nam de Europese speler Silo AI over voor 665 miljoen euro. Dat bedrijf omschrijft zichzelf als “het grootste private AI-lab van Europa”. Dit houdt in dat het bedrijven helpt om AI-producten te realiseren, in allerlei industrieën. De overname is voor AMD een stap om het eigen enterprise AI-portfolio verder te vergroten. AMD zal dus sterker met industriespelers innoveren om smart devices, geavanceerde auto’s en Industry 4.0-toepassingen te bouwen. Dat doet het al wel, maar wil het dus beter gaan doen. Een praktisch voorbeeld van werk dat AMD al heeft geleverd is een deal met Subaru. Het Japanse automerk koos AMD-chips voor het aandrijven van het EyeSight-systeem, de eigen AI-gedreven rijhulp. Zo zijn we ver verwijderd van de desktops, laptops en servers waar we AMD normaliter aantreffen. Het ziet ernaar uit dat we meer van dergelijke ontwikkelingen mogen verwachten.

Lees ook: AI-pc verandert de pc-industrie, maar het is nog niet duidelijk hoe