Cloudera en VAST Data kondigen een strategisch partnerschap aan om een gezamenlijke AI-factory te leveren. De oplossing combineert Cloudera’s containerized data services met het AI Operating System van VAST en moet GPU’s voorzien van workloads zodat ze volledig benut worden. De partijen mikken op zowel on-premises als public cloudomgevingen.
Grote bedrijven investeren miljarden in GPU’s, maar veel van die dure chips staan een groot deel van de tijd stil. Ze wachten op data die door bottlenecks elders niet op tijd aankomen. Dat fenomeen, GPU-starvation, is waar Cloudera en VAST Data op mikken met hun samenwerking.
Het idee is een AI-factory, een veelvuldig genoemd concept dat hier wordt uitgelegd als een productieomgeving waarin data continu wordt opgenomen, verrijkt, beheerd en aan AI-modellen geleverd voor training en inference. De oplossing draait op de Nvidia’s AI Data Platform-architectuur en is beschikbaar in alle vormen van clouds waar je GPU’s kunt tegenkomen.
Twee lagen, één stack
De rolverdeling is helder. VAST levert het fundament met zijn Disaggregated Shared Everything-architectuur, goed voor opslag op exabyte-schaal en vectorzoekopdrachten via NVIDIA cuVS. Cloudera legt daar vervolgens de data engineering, analytics, governance en AI-diensten bovenop. Samen moeten ze het klassieke probleem oplossen dat traditionele architecturen nooit ontworpen zijn voor voortdurend draaiende AI-pipelines.
Dit wordt alleen maar belangrijker nu organisaties wakker zijn geschrokken van de hoge AI-kosten en verdere optimalisatie eisen op dat gebied. Voor partijen die open-source modellen aanbieden, zal het zaak zijn om hierop in te spelen door hun eigen kosten te verlagen en competitieve token-kosten te vragen.
Bekend terrein voor beide partijen
VAST profileert zich al langer nadrukkelijk als bouwer van een AI Operating System en zet die marktpositie in om een volledige full-stack AI-infrastructuur te ontwikkelen. Cloudera zet ondertussen stevig in op private AI. De twee bedrijven combineren naar eigen zeggen 60 exabytes aan klantdata. De Cloudera AI Inference Service, versneld door NVIDIA NIM microservices, laat organisaties elk model uitrollen, inclusief de nieuwste NVIDIA Nemotron open modellen.
De gezamenlijke oplossing is per direct beschikbaar. Op den duur zullen nieuwe architecturen verschijnen, inclusief sectorspecifieke oplossingen.