Uit AI-benchmarks van machine learning-consortium MLCommons steekt Nvidia-hardware met kop en schouders boven de concurrentie uit. Echter ziet Intel zichzelf als een geduchte tegenstander met een betere prijs-kwaliteitverhouding dankzij de eigen Gaudi2-architectuur. Daarnaast is het onzeker of Nvidia aan de vraag naar de eigen GPU’s kan voldoen.
De acht zogeheten MLPerf-tests omvatten verschillende AI-workloads, waaronder het trainen van Google’s BERT-Large-model en een stukje van GPT-3 van OpenAI. De tests zijn, zoals alle benchmarks, slechts een indicatie van de prestatieverhoudingen tussen de spelers op de markt. Toch is het duidelijk dat de pure prestaties van Nvidia niet te ontkennen zijn.
De betere prestaties houden concreet in dat men met Nvidia-chips sneller een AI-workload hebben afgerond. Soms zijn het best aanzienlijke verschillen: zo wist het Nvidia-gedreven systeem in de benchmarks in acht seconden een BERT-test te voltooien, terwijl de Intel Habana Labs-oplossing er twee minuten over deed.
Nuance en schaal
Het is belangrijk om de prestaties in context te plaatsen. Allereerst is het MLCommons-initiatief afhankelijk van inzendingen door specifieke partnerships. Zo is de Nvidia-inzending in samenwerking met CoreWeave, dat Nvidia-GPU’s in de cloud huurt. Die draaien natuurlijk niet zonder een systeem eromheen: achter de 3584 H100-kaarten zitten 896 Intel Xeons. Dus hoewel Nvidia ook zelf pocht over de indrukwekkende resultaten uit de benchmarks, is de CoreWeave-oplossing net zo goed een Intel-gebaseerd systeem.
Habana Labs van Intel was de enige AI-producent die meedeed aan de benchmarks. Elke test kende weer wat subtiele verschillen wat betreft specificaties en configuraties. Om deze reden is geen enkel resultaat een daadwerkelijke ‘dragrace’ tussen twee equivalente systemen.
AI-topman bij Intel Jordan Plawner stelde tegenover ZDNET dat het prestatieverschil tussen Habana en Nvidia klein genoeg is dat veel organisaties er niet al te veel zorgen over zouden maken. Immers zullen veel bedrijven buiten de boot vallen als de vraag naar AI-chips hoog blijft en Nvidia niet kan leveren. Plawner merkt daarom op dat deze organisaties wellicht eerder de Intel Gaudi2-architectuur zullen inkopen. Ten opzichte van de Nvidia A100, de voorganger van de H100, zou Gaudi2 competitief zijn.
Daarnaast belooft Intel stappen te zetten dankzij betere software. Dit is omdat Gaudi2 tijdens de benchmarks te maken had met een ‘handicap’ in de inzendingen. Gaudi2 maakte namelijk gebruik van de BF-16 dataformat, terwijl Nvidia FP-8 gebruikte. De hogere precisie van het 16-bit formaat zou hebben geleid tot langere verwerkingstijden. In september denkt het bij de GPT-3-test op gelijke hoogte te komen als de oppermachtige H100 qua prijs-kwaliteit. Uiteindelijk zal die verhouding voor de meeste bedrijven belangrijker zijn dan de kale benchmarks zouden suggereren.
18 uur geleden
Expert bijdrage
