Inferencing gaat volgens experts het leeuwendeel van AI-berekeningen vormen. Qualcomm grijpt de kans om een alternatief te bieden voor de gevestigde partijen in het datacenter. Een ‘rijke softwarestack’ moet klanten charmeren om over te stappen.
De rackscale systemen beloven hoge prestaties en efficiëntie, met voordelen op het gebied van geheugen om de allergrootste AI-modellen aan te kunnen. Er verschijnen twee varianten, de AI200 en de AI250, waarvan eerstgenoemde in 2026 en de ander in 2027.
Qualcomm stapt met beide oplossingen in de datacentermarkt voor AI-inferencing, ofwel het dagelijks draaien van AI-modellen. De AI200 richt zich op een lage total cost of ownership (TCO) en optimaliseert prestaties voor large language models (LLM’s) en multimodale modellen (LMM’s). Per kaart zit er 768 GB LPDDR-geheugen, wat meer capaciteit voor minder geld oplevert.
De AI250 gaat een stap verder met een innovatieve geheugenarchitectuur op basis van near-memory computing. Hierbij wordt rekenkracht dichtbij de fysieke geheugenchips geplaatst. Dit levert meer dan 10x hogere effectieve geheugenbandbreedte en veel lager energieverbruik. Hierdoor wordt zogeheten gedisaggregeerde AI-inferencing mogelijk, wat hardware-efficiëntie vergroot. Dit splitst het berekenen van de AI-tokens en het verwerken van de initiële prompt op.
Beide racks van Qualcomm volgen een inmiddels traditionele aanpak voor AI: ze draaien op directe liquid cooling. PCIe zorgt voor scale-up, Ethernet voor scale-out. Confidential computing beschermt ook hier de gevoelige AI-workloads, net als bij vele concurrenten. Het stroomverbruik per rack bedraagt 160 kW; het is aanzienlijk minder dan sommige racks van spelers als Nvidia:
Lees verder: Hoe datacenters de reuzensprong naar 1 Megawatt per rack maken
Softwarestack en ecosysteem
Qualcomm bouwt rond de hardware een uitgebreide softwarelaag. Deze ondersteunt gangbare machine learning-frameworks, inference engines en generative AI-frameworks. Ontwikkelaars kunnen met één klik modellen vanuit Hugging Face deployen via de Efficient Transformers Library en de Qualcomm AI Inference Suite.
“Met Qualcomm AI200 en AI250 herdefiniëren we wat mogelijk is voor rackscale AI-inferencing”, aldus Durga Malladi, SVP & GM van Technology Planning, Edge Solutions & Data Center bij Qualcomm Technologies. De oplossingen zijn ontwikkeld voor frictionloze adoptie en snelle innovatie.
Maakt ARM een kans?
Omdat we het hier niet hebben over ‘klassiek’ datacentergebruik, maakt ARM opeens een kans. Van oudsher is het probleem voor serverworkloads dat ze ingesteld zijn op x86, en dus blijft de CPU-keuze beperkt tot Intel en AMD. Voor AI-workloads maakt de onderliggende ISA (Instruction Set Architecture) minder uit; het zwaartepunt ligt op de GPU’s en de efficiëntie van het netwerk. Beide onderdelen verschillen niet of nauwelijks tussen x86 en ARM.
Toch beantwoordt dat niet de vraag of Qualcomm specifiek een al te grote kans maakt om marktaandeel te veroveren. Immers zijn ook Nvidia’s “AI-kasten” gevuld met gecombineerde CPU’s en GPU’s op ARM-basis. Dat zijn vooralsnog de meest felbegeerde machines voor het draaien van AI-workloads, of het nu om training of inferencing gaat. Laatstgenoemde is wel meer afhankelijk van efficiëntie om aantrekkelijk te zijn voor eindgebruikers, maar de vraag naar AI-compute is dermate groot dat alle hardware wel een nut vindt. Die wijsheid, meer dan de competitieve positie van Qualcomm, geeft deze nieuwe apparaten een kans op de markt.