AI-inferencing is inefficiënt en sleept bagage van AI-training mee

AI-inferencing is inefficiënt en sleept bagage van AI-training mee

AI-inferencing zou 3,7 keer meer output per GPU kunnen leveren. Dat stelt WEKA op basis van een benchmark met AI-cloud Nebius. De verklaring voor die geclaimde winst is te vinden in de veranderende aard van AI-workloads. Hoe komt die winst tot stand, en waarom laat de gangbare opzet zoveel liggen?

GPU’s zijn steeds vaker bezig met het dagelijks draaien van AI, oftewel inferencing, maar de infrastructuur eromheen is nog ingericht op het trainen van modellen. De factor 3,7, gemeten in outputtokens per GPU-uur, komt voort uit de 169.000 die er gemeten werden op een Nvidia HGX B300-node met acht GPU’s die 8 uur agentic taken draaide. De node draaide DeepSeek-V4-Pro en maakte gebruik van 512 actieve sessies, met 32 verzoeken tegelijk.

Met WEKA’s opslaglaag slaagde de node erin om 2,4 keer zoveel verzoeken af te handelen als een node met alleen het GPU-geheugen. Daarnaast was de responstijd betrouwbaar sneller: de time-to-first-token was 97 procent van de tijd binnen 5 seconden, tegenover 44 procent als er enkel van HBM gebruikgemaakt werd.

Opvallend genoeg zou je met een alom gebruikte metric, GPU-utilisatie, hier niets van terugzien. In beide gevallen zijn de GPU’s al dan niet 100% van de tijd aan het werk, maar dat zegt dus weinig. Achter dat percentage schuilt ofwel een heleboel extra werk dat de GPU weliswaar bezig houdt, maar niet productief maakt.

Trager is sneller

HBM, het geheugen dat direct naast de GPU op hetzelfde package geplaatst is, geldt als een van de meest kostbare componenten van AI-infrastructuur. Het is ontzettend snel geheugen met een reusachtige bandbreedte, maar met een beperkte capaciteit. Als je GPU 270 GB aan HBM heeft maar je agents 271 GB nodig hebben, dan moet het systeem context uit het geheugen werpen, die het later opnieuw moet berekenen. Uitwijken naar ‘gewoon’ systeemgeheugen (DRAM) kan, maar dat is beperkt tot één server.

Meestal draaien AI-workloads op een reeks servers die elk op basis van beschikbaarheid te werk gaan, waardoor een sessie bij een volgende stap op een server kan belanden die die context niet heeft. Voor latency-gevoelige taken, en dat zijn agentic sessies als de eindgebruiker wacht op de output van een AI-tool, is dit een scenario dat je wilt vermijden.

Eén antwoord op dat capaciteitsprobleem is enigszins paradoxaal. WEKA zet hiervoor het Augmented Memory Grid (AMG) in, een laag boven op zijn opslagplatform NeuralMesh. In de test bundelde NeuralMesh de lokale NVMe-drives van acht B300-nodes, zes per node, tot één gedeelde laag voor AI-context. Het gaat om context die een AI-model al eens verwerkt heeft en opnieuw nodig heeft om output te genereren, de zogeheten KV-cache. Een AI-model verwerkt een prompt in de prefill-fase. Bij de HBM-opzet in de Nebius-test bestond 60 procent van dat prefill-werk uit het opnieuw berekenen van eerder verwerkte context, dubbel werk dus. Met NVMe-opslag, ordes van grootte trager dan HBM maar voorzien van een veel grotere capaciteit, was dit slechts 6,8 procent.

De DRAM-route ontbrak overigens in de test. Volgens WEKA en Nebius was er in juli, bij uitvoering van de test, geen DRAM-offload-implementatie voor DeepSeek-V4. Men erkent dat er alternatieve set-ups zijn die wél effectief van DRAM gebruikmaken. Tegenover een wijze die veel van systeemgeheugen gebruikmaakt, zou de verbetering vermoedelijk minder groot zijn.

Hoe het werkt

Dat wil niet zeggen dat de architectuur niet geraffineerd is. NeuralMesh is een gedistribueerde shared-nothing architectuur, waarbij elke node zelfstandig data, metadata en I/O afhandelt. De locatie van data wordt pas tijdens runtime bepaald. De AMG-snelheid zit vooral in de verbindingslaag, profiterend van zaken als RDMA en Nvidia’s GPUDirect Storage om de KV-cache rechtstreeks van NVMe te trekken naar het GPU-geheugen, zonder tussenkomst van de CPU en dus DRAM. WEKA stelt dat de context bovendien bewaard blijft over sessies en node-uitval heen. Data in DRAM en HBM verdwijnt namelijk als de stroom uitvalt.

WEKA kent wat concurrenten die qua invulling verschillen maar dezelfde doelstellingen hebben omtrent snellere, schaalbare AI-inferencing. Nvidia’s Inference Context Memory Storage-platform (ICMS, ook CMX genoemd), draait bijvoorbeeld op een volledige Nvidia-stack qua DPU’s, networking en natuurlijk GPU’s.VAST Data testte eind vorig jaar met CoreWeave KV-cache-offload via Nvidia Dynamo, en DDN doet iets vergelijkbaars met Infinia bij het Nederlandse Nebul. Het versnellen van AI-inferencing wordt dus door meerdere vendoren op architectureel niveau aangepakt.

Anders dan Nvidia’s platform is AMG niet aan de Rubin-generatie gebonden: volgens WEKA draait het al op H100-systemen bij OCI en B300-systemen bij Nebius, en is het sinds november 2025 commercieel beschikbaar.

Cached cash

Wie de infrastructuurdetails een ver-van-mijn-bedshow vindt, zal wel oog hebben voor de kosten. De tarieven voor AI-workloads zijn veelal volledig op tokens gebaseerd, waarbij ‘cached tokens’ voordelig zijn. Dit is data die het model al heeft ‘gezien’ en dus op een sneller te benaderen opslaglocatie staan. Zie hier waar vermoedelijk het wereldwijde DRAM-aanbod grotendeels naartoe is gegaan bij spelers zoals OpenAI.

De provider is in staat om deze data veel sneller aan de GPU te overhandigen dan nieuwe gegevens, met een voordelige tokenprijs tot gevolg. Wie lange agentic sessies draait, leunt naarmate de tijd en context vordert op steeds meer cached input. Een laag als AMG maakt hergebruik hiervan nog aantrekkelijker zonder dat alle data opnieuw vanaf nul te berekenen is.

Het zal voor het rendement aan de klantzijde nog even duren voordat we weten hoe AI het best benut worden. Aan de kant van de leveranciers is het zaak om rendement te behalen door efficiënties te vinden. Het laaghangende fruit is al opgegeten. Nu is het zaak om de gehele architectuur te heruitvinden voor het optimaal benaderen van data. Dat is waar WEKA verre van de enige speler is, maar wel met een persistent geheugen een voordeel kent. Daarnaast is het bovenal een kwestie van de vinger op de zere plek leggen: elke AI-provider moet dezelfde efficiëntieslag vinden en heeft nu opnieuw een teken dat hun GPU-utilisatie veel beter kan. Het einde van de GPU-utilisatie