Red Hat maakt meters om zijn aanbod rond enterprise AI uit te breiden. Dankzij gevalideerde AI-modellen van derden en integratie van Llama Stack en het Model Context Protocol moeten AI-implementaties bij bedrijven versnellen. Ook krijgen ze meer keuzevrijheid en moet het vertrouwen in generatieve AI-toepassingen binnen hybride cloudomgevingen toenemen.
Tijdens de Red Hat Summit in Boston presenteert het open source-bedrijf verschillende updates die bedrijven meer mogelijkheden bieden om generatieve AI effectief in te zetten. Een van de belangrijkste toevoegingen zijn de Red Hat AI Third Party Validated Models, die beschikbaar komen via Hugging Face. Deze modellen maken het voor grote bedrijven eenvoudiger om de juiste AI-modellen te vinden die aansluiten bij hun specifieke behoeften. Red Hat biedt boven op deze verzameling gevalideerde modellen ook implementatierichtlijnen die het vertrouwen in de modelprestaties en de reproduceerbaarheid van resultaten vergroten.
Om het aanbod nuttiger te maken, heeft Red Hat bepaalde modellen extra geoptimaliseerd. Hierbij worden compressietechnieken toegepast om de modelgrootte te verkleinen en de inferentiesnelheid te verhogen. Dit helpt organisaties om het resourceverbruik en de operationele kosten te minimaliseren. Dankzij het doorlopende validatieproces blijven klanten bovendien op de hoogte van de nieuwste optimalisaties binnen de generatieve AI-innovatie.
Gestandaardiseerde API’s voor AI-toepassingen
Een tweede belangrijke innovatie is de integratie van Llama Stack (oorspronkelijk ontwikkeld door Meta) en het Model Context Protocol (MCP) van Anthropic. Deze toevoegingen bieden ontwikkelaars gestandaardiseerde API’s voor het bouwen en implementeren van AI-toepassingen en -agents.
De Llama Stack, momenteel beschikbaar als developer preview in Red Hat AI, voorziet in een uniforme API voor inferentie met vLLM, retrieval-augmented generation (RAG), modelevaluatie, guardrails en agents voor diverse generatieve AI-modellen. MCP maakt het mogelijk om modellen te integreren met externe tools door een gestandaardiseerde interface te bieden voor het verbinden van API’s, plugins en databronnen in agent-workflows.
Tip: Hoe het Model Context Protocol de AI-wereld in zijn greep heeft
Updates voor Red Hat OpenShift AI
Uiteraard speelt binnen het nieuwe enterprise AI-aanbod ook OpenShift AI een forse rol. De nieuwste versie van Red Hat OpenShift AI (v2.20) bevat meerdere verbeteringen voor het bouwen, trainen, implementeren en monitoren van zowel generatieve als voorspellende AI-modellen op schaal.
Zo is er een geoptimaliseerde modelcatalogus (in technology preview) die eenvoudige toegang biedt tot gevalideerde Red Hat- en derdepartijmodellen. Deze catalogus stelt gebruikers in staat om modellen op Red Hat OpenShift AI-clusters te implementeren via de webinterface en beheert de levenscyclus van deze modellen met behulp van een geïntegreerd register.
Daarnaast maakt gedistribueerde training via de KubeFlow Training Operator het mogelijk om InstructLab-modeltuning en andere PyTorch-gebaseerde trainingsworkloads te verdelen over meerdere Red Hat OpenShift-nodes en GPU’s. Dit omvat gedistribueerde RDMA-netwerkversnelling en geoptimaliseerd GPU-gebruik om kosten te verlagen.
Een feature store (eveneens in technology preview), gebaseerd op het upstream Kubeflow Feast-project, biedt een gecentraliseerde opslagplaats voor het beheren en aanbieden van data voor zowel modeltraining als inferentie. Dit stroomlijnt dataworkflows en verbetert de modelnauwkeurigheid en herbruikbaarheid.
Tip: Red Hat maakt van OpenShift de hybride AI en cloud-pion
RHEL AI gaat eveneens vooruit
Ook Red Hat Enterprise Linux AI krijgt een upgrade, met de lancering van versie 1.5. Deze versie van het platform voor het ontwikkelen, testen en uitvoeren van large language models (LLM’s) zorgt voor meer beschikbaarheid in de public cloud. Het platform komt namelijk naar de Google Cloud Marketplace, waardoor gebruikers nu – naast AWS en Azure – er een derde optie bij hebben. Deze toevoeging vereenvoudigt de implementatie en het beheer van AI-workloads op Google Cloud.
Daarnaast komen er – vooral internationaal gezien een belangrijke stap – voor het InstructLab-project verbeterde meertalige mogelijkheden. Dit betreft de talen Spaans, Duits, Frans en Italiaans. Hiermee kunnen modellen worden aangepast met behulp van eigen scripts, wat nieuwe mogelijkheden biedt voor meertalige AI-toepassingen. Gebruikers kunnen ook hun eigen teacher models inbrengen voor meer controle over modelaanpassingen en -tests voor specifieke use cases en talen. In de toekomst is ondersteuning gepland voor Japans, Hindi en Koreaans.
Red Hat AI Inference Server
Met de nieuw aangekondigde Red Hat AI Inference Server is er nog een andere component die een significante rol speelt binnen het nieuwe enterprise AI-aanbod. Deze server is ontworpen om high-performance inferentie te bieden voor generatieve AI-toepassingen. Dankzij de introductie van deze server kunnen bedrijven nu een complete stack bouwen voor de ontwikkeling, training en implementatie van AI-modellen binnen hun bestaande technologie-infrastructuur. Deze server bespreken we uitgebreid in een los artikel.
Daarnaast is de Red Hat AI InstructLab-service op IBM Cloud nu algemeen beschikbaar. Deze cloudservice stroomlijnt het proces van modelaanpassing verder, verbetert de schaalbaarheid en gebruikerservaring, en stelt bedrijven in staat om effectiever gebruik te maken van hun unieke data – met grotere controle en gebruiksgemak.
Door een combinatie van gevalideerde modellen, gestandaardiseerde API’s en geoptimaliseerde infrastructuur aan te bieden, kunnen organisaties hun AI-implementaties versnellen zonder compromissen te sluiten op het gebied van keuzevrijheid, prestaties of betrouwbaarheid.