CAST AI is gespecialiseerd in het optimaliseren van cloudkosten, specifiek rondom Kubernetes. Vandaag komt het met nieuwe features binnen het platform waarmee het dit doet. Het gaat nu ook de kosten reduceren die gepaard gaan met het trainen van AI-modellen. Dit moet het realistischer maken voor meer organisaties om serieus met generatieve AI aan de slag te gaan.
Generatieve AI is erg interessant en krijgt (ook hier op Techzine) veel aandacht. We hebben echter ook al meerdere keren opgemerkt, onder andere in onze podcastafleveringen over ChatGPT en GPT-4, dat het prijskaartje dat eraan hangt erg stevig is. Voor ChatGPT is er een schatting dat het niet minder dan 700.000 dollar per dag kost om het in de lucht te houden. Dat is voor een organisatie zoals OpenAI, waar stevige investeringen van onder andere Microsoft achter zitten, nog wel betaalbaar. Voor een ‘gewone’ enterprise-organisatie is dat niet het geval. Om nog maar te zwijgen van kleinere organisaties. Om het breder interessant te maken, moeten die prijzen dus naar beneden. Let wel, we gaan er hierbij vanuit dat generatieve AI ook voor alle organisaties interessant is. Daar valt over te twisten, maar daar gaat het in dit artikel niet over.
Lees ook: Generatieve AI: Hoe kan GPT-4 het bedrijfsleven veranderen?
CAST AI-platform krijgt nieuwe features
CAST AI houdt zich al sinds de oprichting in 2019 bezig met het optimaliseren van kosten. Het gaat dan om cloudkosten en dan vooral over kosten die te maken hebben met Kubernetes. Die kunnen vanwege de vluchtige aard van containers vrij snel hard oplopen.
Vandaag gaat het echter niet specifiek over Kubernetes, maar over het trainen van AI-modellen. Dat vindt in de regel ook plaats in de cloud, of het nu AWS, Google Cloud Platform of Microsoft Azure is. De updates die CAST AI vandaag officieel toevoegt aan het platform moeten ervoor zorgen dat er ook op dit vlak de nodige optimalisatie plaatsvindt. Het platform gaat geautomatiseerd de drie grote clouds langs en zoekt naar de meest kostenefficiënte GPU’s. Het selecteert deze en doet ook de provisioning. Is een GPU-instance niet meer nodig, dan schakelt het platform deze af. Het kan ook een eerder geselecteerde GPU-instance vervangen door een goedkopere.
Lees ook: De banen die het meest bedreigd worden door generatieve AI zoals ChatGPT
Verder zien we nog enkele updates specifiek gericht op de AWS-cloud. Zo optimaliseert het platform van CAST AI de inzet van Amazon Inferentia-machines die je gebruikt voor het uitvoeren van AI-modellen. Daarnaast kan het ook Graviton-processors inzetten, terwijl het zaken zoals prestaties en kosten in balans houdt, is de belofte. Tot slot zorgt het CAST AI-platform voor het beheer van spot instances. Dat laatste zien we ook steeds meer bij het inzetten van Kubernetes over meerdere clouds heen. Het platform selecteert de optimale configuratie voor de eisen van een specifiek model en zoekt daar de meest kostenefficiënte machines bij.
Hoeveel besparing?
CAST AI claimt dat het in het algemeen de cloudrekening voor klanten kan halveren. Dat is dan wellicht ook wat je gemiddeld mag verwachten als het specifiek gaat om het trainen van AI-modellen. Dit zal ongetwijfeld afhangen van de beschikbaarheid van de GPU’s die ervoor gebruikt moeten worden. We kunnen niet goed inschatten hoeveel speelruimte er op dit gebied is, verspreid over AWS, GCP en Azure. CAST AI haalt een anekdote aan van een klant die een besparing van 76 procent heeft gerealiseerd bij het trainen van AI-modellen binnen Amazon EKS. Het lijkt er dus op dat er behoorlijk wat speelruimte is. Het is in ieder geval iets om naar te kijken als je aan de slag wilt gaan met het trainen van AI-modellen.
TIP: Sapphire 2023: SAP slaat flinke slag met AI, wat betekent het voor bedrijfsprocessen?
16 uur geleden
