De MLPerf v3.0-benchmarks laten zien dat Everpure FlashBlade//EXA op het gebied van model checkpointing en KV cache-gebruik uitblinken. Als belangrijke ijkpunten voor AI-prestaties in realistische omstandigheden laat dit zien dat training en inferencing steeds verder geoptimaliseerd wordt.
De geteste modellen in kwestie zijn fors, van 405 miljard tot 1,25 biljoen parameters. Bij 30 data nodes noteerde FlashBlade//EXA 877,52 GiB/s schrijfbandbreedte (17,74 seconden) en 588,28 GiB/s leesbandbreedte (28,99 seconden). Met tien data nodes lag de schrijfdoorvoer nog op 327,65 GiB/s, wat volgens het bedrijf wijst op voorspelbare schaling.
KV cache als nieuwe bottleneck
Aan de inferencing-kant meldt Pure 85.736 tokens per seconde voor Llama 3.1 8B met alleen storage, 67.642 tokens per seconde voor dezelfde workload met storage plus geheugen, en 33.403 tokens per seconde voor een 70B storage-only workload. Checkpointing kwam in v2.0 van de benchmark voor het eerst binnen, met save- en load-tests voor modellen van 8B tot 1T parameters.
“Deze resultaten tonen opnieuw aan dat FlashBlade//EXA de hoogste prestaties en schaal op de markt levert”, aldus Rob Lee, Chief Technology & Growth Officer bij Everpure.
Het is goed om even stil te zijn bij KV cache, dat geldt als het kortetermijngeheugen van AI-modellen. Terwijl de gewichten al in het geheugen te laden zijn, is KV cache veranderlijk en aan te passen. Zo kunnen modelproviders ervoor kiezen om AI-modellen aan te bieden met gecomprimeerde gewichten, wat leidt tot minder accurate resultaten maar efficiënter gebruik van opslag en geheugen, terwijl KV cache inperken leidt tot een minder robuust en langdurig geheugen van het model. De balans tussen beide elementen hangt af van de use case: bij grote hoeveelheden data wordt KV cache belangrijker, in situaties waarbij accuratesse de prioriteit verdient zijn de gewichten en de compressie daarvan eerder een beperkende factor.
Gescheiden metadata en dataverkeer
De testopstelling bestond uit 30 FlashBlade//EXA-blades met 120 DirectFlash Modules voor metadata, naast 30 Linux/NVMe data nodes. Samen goed voor circa 866 TB bruikbare capaciteit onder één bestandssysteem. Voor de layout-onderhandeling gebruikt het platform NFSv4.1/pNFS over TCP, voor het datatransport NFSv3 over RDMA.
Die disaggregated architectuur presenteert Pure als antwoord op storage-bottlenecks in AI en HPC, met een claim van 10 TB/s in één namespace en 3,4 TB/s per rack. EXA vormt daarmee de krachtigste optie boven FlashBlade//S en FlashBlade//E. “EXA” staat dan ook voor exascale, ofwel de enorme schaal van de AI-infrastructuren van hyperscalers en de grootste AI-modelbouwers OpenAI en Anthropic.
In dit segment kent Everpure verschillende concurrenten, zoals VAST Data en WEKA, maar ook traditionele spelers zoals Dell, HPE en NetApp. De nadruk kent subtiele verschillen onderling, maar alle partijen trachten bovenal efficiëntie na te jagen waar dat met de torenhoge kosten voor hardware en specifiek geheugen steeds meer nodig is.