Akamai en Neural Magic proberen samen AI-workloads te democratiseren. Gezien de tekorten aan peperdure GPU’s is de optie om AI op Akamai-infrastructuur te draaien wellicht aantrekkelijker.
De gecombineerde oplossing zorgt ervoor dat deep learning-berekeningen op server-CPU’s kunnen plaatsvinden. Neural Magic, dat zich specialiseert in ‘software-delivered AI’, zorgt er daarmee voor dat bestaande infrastructuur van Akamai is in te zetten voor deze toepassing.
CPU’s nuttig voor AI
CPU’s zijn aanzienlijk trager dan GPU’s als het om de meeste AI-berekeningen gaat, met GenAI als modieus voorbeeld. De duizenden tot tienduizenden cores in een enkele grafische kaart ronden de talloze AI-berekeningen sneller af dan de hooguit 288 e-cores in de nieuwe Intel Xeon Sierra Forest-CPU bedoeld voor datacenters. Conventionele processoren zijn hooguit geschikt voor inferencing, de laatste (en minst veeleisende) berekeningsstap voordat een AI-model een output kan genereren. De oplossing van Neural Magic kan deze vaardigheden voor dit doeleinde inzetten, zodat ook edge-servers AI-acceleratie kunnen uitvoeren.
De nadruk bij de aankondiging van Akamai en Neural Magic ligt dan ook op efficiëntie, hoewel de prestaties niet zouden achterblijven. De brede beschikbaarheid van Akamai Connected Cloud dient ervoor te zorgen dat klanten wereldwijd dit aanbod kunnen benutten. Latency dient door de gedistribueerde aard van Akamai’s infrastructuur zeer klein te zijn.
Volgens John O’Hara, SVP Engineering en COO bij Neural Magic is het draaien van AI op de edge uitdagender dan het lijkt. “Gespecialiseerde of dure hardware en de daarbij behorende vereisten qua verbruik en aanlevering zijn niet altijd beschikbaar of mogelijk. Dit zorgt ervoor dat organisaties effectief niet de voordelen van AI-inferencing op de edge kunnen benutten.” Akamai Chief Strategist Ramanath Iyer voegt daaraan toe dat de samenwerking organisaties “broodnodige kostenefficiënties en hogere prestaties” oplevert.
Lees ook: Akamai voegt AI-bescherming toe tegen DDoS-aanvallen
18 uur geleden
Expert bijdrage
