Op basis van data van tienduizenden clusters blijkt dat GPU-gebruik gemiddeld slechts 5 procent bedraagt, terwijl CPU-gebruik op 8 procent staat en geheugenbenutting op 20 procent uitkomt. De kloof tussen betaalde en gebruikte capaciteit groeit, terwijl cloudprijzen stijgen.
Dat toont onderzoek van Cast AI aan. Het laat een hardnekkig patroon zien: de kloof tussen wat organisaties betalen en wat ze daadwerkelijk gebruiken, wordt groter naarmate Kubernetes-adoptie groeit. Dat is opvallend, want Kubernetes werd juist ontworpen om efficiëntie op schaal te bieden.
Cast AI schetst dat Kubernetes uitgroeit tot het standaardplatform voor AI- en ML-workloads, maar de data vertelt hetzelfde verhaal als bij CPU en geheugen: gemiddeld 5 procent benutting. Dat terwijl een stilstaande GPU per uur dollars kost, tegenover centen voor een ongebruikte CPU.
Eenmalige configuratie schiet tekort
Een centraal inzicht uit het rapport betreft de aanpak van configuratie. Rightsizing, waarbij de IT-resources worden afgestemd op de behoefte van de workloads, die eenmalig bij deployment plaatsvindt, is geen echte rightsizing. Workloads veranderen, verkeerspatronen verschuiven. Wat zes maanden geleden klopte, geldt vandaag niet meer. Hetzelfde speelt bij Spot Instance-selectie, autoscaler-configuratie en node lifecycle management.
Cast AI pleit voor autonome, doorlopende optimalisatie als houdbare reactie op infrastructuureconomie die in de verkeerde richting beweegt.
Tip: Harness beveiligt AI-code en AI-apps met twee nieuwe modules