Nu AI-gebaseerde diensten in trek zijn, vallen de kosten ervan voor veel bedrijven tegen. Daar moet verandering in komen, menen Ampere Computing en Frans cloudleverancier Scaleway. Met ‘cost optimized’ (COP-) Arm-instances zouden organisaties veel voordeliger gebruik kunnen maken van AI-workloads dan met het Nvidia-alternatief.
Scaleway onthulde de nieuwe servers tijdens het eigen ai-PULSE-evenement in Parijs. De COP Arm-instances draaien op Ampere Altra-chips. Het nieuwe aanbod is “ontworpen om de vereisten van AI-aangedreven applicaties” aan te kunnen, zoals het draaien van een chatbot of het analyseren van grote hoeveelheden data. Let wel: men specialiseert zich niet in het trainen van modellen, dat de zwaarste prestatievereisten kent als het om AI-workloads draait.
Het Franse Scaleway bestaat al sinds 1999 en opereert in Parijs, Amsterdam en Warschau. Het bedient 25.000 klanten en heeft al meerdere cloud- en AI-gerichte opties. Zo werkt het ook samen met Nvidia om AI-hardware in de cloud beschikbaar te stellen.
Efficiënt (maar geen krachtpatser)
Omdat het trainen van een model een eenmalig proces is, stelt Ampere-CPO Jeff Wittich dat de prestaties op dat gebied niet al te relevant zijn. “Algemene CPU’s zijn goed in inferencing, en dat zijn ze altijd al geweest. Inferencing is het schaal van het model dat je continu draait, dus efficiëntie op dat gebied is hier belangrijker.”
En op dat gebied belooft men tot wel 3,6 keer minder elektriciteit te verbruiken per inferencing-workload dan het Nvidia-alternatief. Kortom, het toverwoord is efficiëntie boven rauwe prestaties. Daarbij dient gezegd te worden dat het voorbeeld (inferencing van Whisper, een AI-tool voor spraakherkenning van OpenAI) getest was op een Nvidia A10-GPU. Die chip is inmiddels ruim twee jaar oud en al lang en breed vervangen door modernere varianten. Zo is de Nvidia L40S gebaseerd op de veel efficiëntere Ada Lovelace-architectuur, naast aanzienlijke prestatieverbeteringen. Het probleem: gezien de huidige tekorten van Nvidia-chips kosten ze en fortuin. Niet alleen om te kopen, maar ook om dergelijke prestaties op cloudbasis te huren.
Ampere schroomt in ieder geval niet voor stevige beloftes: tegenover The Register haalt het bedrijf de CEO van het Franse Lampi.ai aan, die stelde dat COP-Arm tien keer zo snel is voor een tiende van de kosten ten opzichte van de x86-concurrentie.
Lees ook: Zet je AI-workloads in op maat gemaakte cloudopslag-diensten van Google Cloud
22 uur geleden
Expert bijdrage
