Hoe aantrekkelijk AI ook mag zijn, het is doorgaans onverbiddelijk duur om op grote schaal in te zetten. Nutanix wil de kosten voor klanten flink drukken met een voortzetting van GPT-in-a-Box.
Over GPT-in-a-Box hebben we al eerder geschreven. In versie 1.0 was het al mogelijk om geavanceerde AI-modellen met bedrijfseigen data te verbinden op een veilige manier. 2.0 is een stuk ambitieuzer, met (zoals wel vaker met Nutanix) een sterke focus op eenvoud.
Training, fine-tuning, inferencing
Een groot struikelblok voor AI-inzet is dat het extreem compute-heavy is. Een foundation model zelf ontwikkelen is veelal niet haalbaar, maar het trainen ervan is eveneens exclusief aan een handjevol partijen. Men haalt bij Nutanix een eerdere claim van Nvidia-CEO Jensen Huang aan dat OpenAI’s GPT-4 15 Megawatt (!) vereiste en na 90 dagen pas uitgetraind was. Kortom: dit proces is niet haalbaar voor het overgrote merendeel van bedrijven.
Fine-tuning of Retrieval Augmented Generation (RAG) zijn een stukje minder zwaar. Deze twee opties (of een combinatie ervan) maken een foundation model geschikt voor specifieke AI-toepassingen. Zo kan een LLM geschikt gemaakt worden voor bijvoorbeeld een klantenservice, het bankenwezen of als security-assistent. Wie fine-tuning of RAG toepast, is echter ook niet goedkoop uit in de cloud. Dit kan on-prem, maar vereist nog altijd aanzienlijke rekenkracht.
Tip: Nutanix en Dell bouwen samen multicloud-oplossingen
Nutanix ziet vooral kans om een rol te spelen tijdens inferencing. Dit is het moment waarop AI-modellen daadwerkelijk dagelijks ingezet worden. Met Nutanix AI Inference Endpoint stelt het bedrijf een kant-en-klare interface beschikbaar die management, toegang en auditing mogelijk maakt. Het laat AI-modellen on-prem draaien of in welke cloud dan ook. On-prem geniet dan voor de meeste partijen de voorkeur, omdat dat een stuk goedkoper is dan voortdurend API-gebruik met de cloud. Op deze manier belooft Nutanix dat het de lusten, en niet de lasten, van AWS, Azure en GCP aanbiedt.
Binnen Nutanix
De te kiezen modellen zullen zich continu uitbreiden. Nutanix weet ook dat dit een snel bewegend doelwit is: elke paar maanden is er weer een nieuwe veelbelovende LLM. Daarom partnert Nutanix met Hugging Face en Nvidia’s NIM om via een enkele API toegang tot allerlei modellen te bieden. Dit versimpelt de softwarearchitectuur voor AI enorm en voorkomt repetitief werk als er weer een nieuwe LLM arriveert.
Een endpoint kiezen is met een paar klikken te regelen binnen Nutanix. Ook is het testen eenvoudig, dat vindt plaats binnen dezelfde interface als waar de endpoint gekozen was.
Een belangrijk onderdeel voor AI-inzet is het al bestaande Nutanix Data Lens. Deze SaaS-oplossing maakt het mogelijk om gegevens binnen Nutanix Files te classificeren. Naast datasecurity en visibility brengt Data Lens ongestructureerde data in aanmerking voor AI. Ook zorgt het ervoor dat gevoelige gegevens bijvoorbeeld niet worden meegenomen, zodat een chatbot voor een klantenservice niet bedrijfseigen data kan reproduceren.
En daarna?
We vroegen Nutanix wat de volgende stap voor GPT-in-a-Box is – en de invulling van AI in algemene zin. We mogen verwachten dat een eventuele versie 3.0 van dit aanbod nóg verder vereenvoudigt. Uiteindelijk ligt dat niet alleen aan Nutanix: bij eventuele data silo’s kan het zijn dat het platform simpelweg niet de data ziet die het anderszins zou kunnen classificeren. Het is dus aan alle vendoren om de praktische inzet van AI een realiteit te maken.
Lees ook: Nutanix schaalt Project Beacon op naar cloud-native