Hewlett Packard Enterprise (HPE) organiseert deze week zijn HPE Discover 2024 conferentie in Las Vegas. Ook deze conferentie draait weer veelal om AI, echter biedt HPE met zijn private cloud AI een oplossing waarbij organisaties hun data in eigen beheer kunnen houden. Hiervoor heeft het samen met Nvidia een complete hardware- en software-stack ontwikkeld.
Als je op dit moment gebruik wilt maken van LLM’s, of misschien wel LLM’s wilt ontwikkelen, ben je aangewezen op de hyperscalers. Zij beschikken op dit moment over de meeste infrastructuur om dit snel en efficiënt te kunnen doen.
Daar wil HPE met zijn nieuwe Private Cloud AI-oplossing, die het samen met Nvidia heeft ontwikkeld, verandering in brengen. Alle data kan on-premises blijven of je nu LLM’s wilt bouwen, inferencing wilt toepassen of RAG wilt inzetten. HPE beschikt over uiteenlopende configuraties waarmee organisaties zeer efficiënt AI kunnen gebruiken.
Lees ook: Hoe bouw je een private cloud in je eigen datacenter?
HPE heeft samen met Nvidia zijn stack geperfectioneerd
Door een combinatie van innovaties en oplossingen van beide organisaties zou de HPE-stack veel efficiënter zijn. Hierdoor zouden LLM’s veel sneller gebouwd kunnen worden, meer AI-processen aankunnen dan concurrerende infrastructuur en is de Private Cloud AI ook nog energiezuiniger, aldus HPE.
Het is een combinatie van Nvidia’s AI computing, networking en software, met HPE’s AI storage en compute-technologie. Daarnaast zijn de nieuwe AI-oplossingen ook volledig geïntegreerd in HPE Greenlake cloud. Dat betekent dat alle infrastructuur en data weliswaar on-premises staan en draaien, maar organisaties wél een eenvoudige cloudinterface krijgen. Hierdoor kunnen organisaties snel nieuwe AI-workloads configureren en uitvoeren.
HPE President and CEO, Antonio Neri, zegt hierover: “Generatieve AI heeft een enorme potentie voor enterprise transformaties, maar de complexiteit van de gefragmenteerde AI-technologie bevat teveel risico’s en barrieres die grootschalige enterprise-adoptie hinderen en een risico vormen voor het meeste waardevolle bezit, de bedrijfsdata.”
“Om die enorme potentie van generatieve AI in de enterprise te benutten hebben HPE en Nvidia gezamenlijk een private cloud oplossing ontwikkeld die organisaties in staat stelt om te focussen op het ontwikkelen van AI-use cases, productiviteit te verbeteren en nieuwe omzetstromen te realiseren.”
Geavanceerde software stack
De fundering van de software stack bestaat volgens HPE uit Nvidia’s AI Enterprise softwareplatform waarbij Nvidia NIM een grote rol speelt, de inferencing microservices. Nvidia AI Enterprise versnelt de ontwikkeling van data science pipelines, de ontwikkeling en uitrol van copilots en andere GenAI applicaties.
Als aanvulling op Nvidia AI Enterprise en Nvidia NIM heeft HPE de HPE AI Essentials software ontwikkeld. Deze HPE AI Essentials bieden een aantal samengestelde AI en data foundation tools met het GreenLake control panel. Hiermee kunnen data pipelines worden aangepast en compliant worden gehouden. Misschien nog wel belangrijker: alle AI pipelines zijn uitlegbaar en reproduceerbaar, waardoor er een hoge mate van betrouwbaarheid is.
AI software-stack kan niet zonder AI hardware-stack
Als aanvulling op de AI software-stack is er ook nog de hardware-stack. Ook deze bestaat uit technologie van beide organisaties. De HPE Private Cloud AI infrastructuur bestaat uit Nvidia Spectrum-X ethernet networking, HPE GreenLake for File Storage, HPE Proliant servers en in verschillende configuraties ondersteuning voor de Nvidia L40S, Nvidia H100 NVL Tensor Core GPU en de Nvidia GH200 NVL2.
Zo stelt HPE dat de HPE Cray XD670 ondersteuning zal bieden voor acht Nvidia H200 NVL Tensor Core GPU’s, wat ideaal is voor LLM-ontwikkelaars.
De HPE ProLiant DL384 Gen12 server met de Nvidia GH200 NVL2 is ideaal voor organisaties die grote LLM’s consumeren en voor RAG.
De HPE ProLiant DL380a Gen12 biedt ondersteuning voor maar liefst acht Nvidia H200 NVL Tensor Core GPU’s en zou daarmee ideaal zijn voor LLM-gebruikers die meer flexibiliteit willen om hun genAI workloads op te schalen.
Prijzen zijn niet voor iedereen
Als we kijken naar de configuraties die HPE hier noemt, dan kunnen we wel stellen dat dit niet voor elke organisatie haalbaar gaat zijn. HPE heeft op dit moment nog geen prijzen bekendgemaakt, maar die zullen niet heel laag zijn. Als je als grote organisatie de workloads hebt en waarschijnlijk aanvullende compliance-eisen om data on-premises te houden, dan zal het prijskaartje niet het probleem zijn. Het is echter wel een oplossing die meer op zeer grote organisaties is gericht dan op het MKB. Het MKB zal voorlopig nog zijn aangewezen op de hyperscalers.
Beschikbaarheid
HPE verwacht dit najaar de eerste HPE Private Cloud AI-systemen te kunnen leveren aan klanten. Wat redelijk snel is, gezien de hoeveelheid technologie ze in elkaar hebben moeten schuiven.
Op dit moment zijn HPE en Nvidia druk bezig om alle sales teams maar ook alle channel partners te trainen. Partijen als Deloitte, HCLTech, Infosys, TCS en Wipro moeten grote organisaties straks snel op weg kunnen helpen met deze Private Cloud AI-systemen.
Om de potentie van genAI snel in te vullen is simpelweg ondersteuning nodig van partners. Daarnaast staat genAI-innovatie niet stil en kan de wereld er dit najaar alweer heel anders uit zien. Daar probeert HPE op te anticiperen met deze nieuwe infrastructuur, die in theorie met alle huidige maar ook toekomstige AI-workloads overweg moet kunnen.