Vultr stapelt AI/ML, cloud-native en inferencing; GenAI voor iedereen?

Je hebt wellicht nog nooit gehoord van Vultr. Toch is dit bedrijf er eentje om in de gaten te houden. Het heeft inmiddels een interessant aanbod aan stacks, services en technologieën. Het doel? Het maximale uit de onderliggende technologie halen tegen de laagste kosten en de hele wereld aan de slag laten gaan met GenAI. Wij spraken Kevin Cochrane, de CMO van Vultr, over deze grote ambities in een uitdagende markt.

Vultr bestaat al sinds 1999, maar was tot 2014 een hostingbedrijf. Dat klinkt niet zo interessant, maar die achtergrond heeft het bedrijf toch best wat gebracht. Het hostte namelijk online multiplayergame Call of Duty. Daar leer je natuurlijk wel het een en ander van. Het team achter Vultr bouwde hier een control plane voor, waarmee het virtuele machines en bare metal servers in negen datacenters kon beheren.

Vultr heeft alles vanaf het begin gedaan op een kostenefficiënte manier, met zo weinig mogelijk mensen, geeft Cochrane aan. Dat is nog altijd de basis van de filosofie van Vultr. “We zijn een groep nerds die alles willen optimaliseren”, vat hij het samen. Zo is het een kwestie van trots om de laagste latency te hebben vergeleken met de concurrenten. De oprichter is nog altijd de enige eigenaar en er komt geen dubbeltje investering van buitenstaanders het bedrijf in. Dat is zonder meer bijzonder tegenwoordig. Het biedt echter ook de mogelijkheid om een geheel eigen businessmodel neer te zetten, dat interessant is of kan zijn voor een grote doelgroep.

Call of Duty als basis voor cloud-native stack van Vultr

Vultr bestaat in de basis uit twee stacks, een cloud-native stack en een AI/ML-stack. Met de cloud-native stack wil het bedrijf zaken zoals het draaien van cloud workloads, databases en managed Kubernetes voor klanten mogelijk maken. Met name dat laatste is op het moment erg populair. Dit doet het door pre-built servers de hele wereld over te sturen. Het is ook letterlijk de hele wereld, horen we van Cochrane: “We zijn actief op alle zes de continenten.” Wereldwijd heeft Vultr beschikbaarheid in 32 regio’s.

Op deze servers, die het bouwt in partnership met Dell Technologies, staat de control plane die Vultr in de afgelopen 25 jaar steeds verder heeft ontwikkeld. Zoals al aangegeven gaat het hierbij om de optimale combinatie van prestaties en kostenefficiëntie. Cochrane heeft het over de maximale prestaties aan de laagste prijs.

Bij dit soort uitspraken gaan bij ons altijd wat haren overeind staan. Want er moeten toch altijd wel compromissen gesloten worden? Dat zal ongetwijfeld ook bij Vultr tot op zekere hoogte zo zijn, maar als je het echt wilt kun je heel ver komen op dit punt. Vergeleken met de hyperscalers is Vultr “tot 90 procent goedkoper voor core workloads”, geeft Cochrane aan. Hij voegt hier ook meteen aan toe dat Vultr hier alsnog een goed belegde boterham mee verdient. Dat geeft dan ook te denken over de premium die klanten betalen bij hyperscalers, maar dat terzijde. Daar zal het operationele model ongetwijfeld ook een stuk minder gestroomlijnd zijn en veel meer nadruk liggen op wat er onderaan de streep overblijft voor aandeelhouders en dergelijke.

AI/ML-stack brengt GenAI dichterbij de massa

Naast de cloud-native stack heeft Vultr ook nog de AI/ML-stack. Als Elite-partner van Nvidia (de hoogste status) heeft het bedrijf vroeg toegang tot de nieuwe GPU’s van dat bedrijf. Cochrane claimt dat Vultr een van de eerste was die de Grace Hopper GH200 superchip mocht en kon lanceren. “We zitten in dezelfde pipeline als de hyperscalers”, voegt hij toe.

Een belangrijk onderdeel van de AI/ML-stack is de GPU-stack die Vultr heeft opgebouwd. Dat is een cruciaal onderdeel van het aanbod. GPU’s zijn namelijk erg complex, zeker als ze net nieuw zijn. Vultr heeft hier een managed service omheen gebouwd. Klanten hebben dus in theorie geen omkijken naar de onderliggende stack en kunnen applicaties bouwen en deze gebruik laten maken van de capaciteiten van de GPU’s. “Ze hoeven zich geen zorgen te maken over updates die een lokaal cluster stukmaken”, geeft hij als voorbeeld.

Vultr heeft verder ook de managed Kubernetes-dienst uit de cloud-native stack doorgetrokken naar de GPU-stack. Daarmee slaat het bedrijf meerdere vliegen in een klap. “Kubernetes op zichzelf is al uitdagend genoeg, maar in combinatie met GPU’s wordt het nog een stuk complexer”, in de woorden van Cochrane.

Cloud-native GenAI over de hele wereld

We weten nu wat Vultr globaal doet. Als alle claims over de kosten en de beschikbare hardware, software en features kloppen, is dit zeker een partij om naar te kijken als organisatie. Zeker als je niet per se uitgewrongen wilt worden door de hyperscalers. Cochrane durft de stelling wel aan dat Vultr de concurrentie met andere partijen uitstekend aan kan. “Organisaties kunnen 90 procent van de workloads ook bij Vultr draaien”, geeft hij aan als we hem vragen naar de rol die het bedrijf kan spelen in de hybride multicloudstrategie die steeds meer organisaties hebben.

De twee separate stacks zijn op zichzelf al best een interessant verhaal wat ons betreft. Er is echter meer, horen we van Cochrane. Het doel van Vultr is namelijk om “cloud-native generatieve AI over de hele wereld aan te bieden”. Met andere woorden, Vultr wil de twee stacks die het heeft combineren en als complete stack aanbieden. Het wil het platform worden waarop organisaties GenAI-applicaties ontwikkelen.

Naar eigen zeggen is het hiermee de enige die een best-of-breed cloud-native stack en een best-of-breed AI/ML-stack aan elkaar kan koppelen. “Zelfs de hyperscalers kunnen dit niet. Wij zijn de enige die dit in 32 regio’s tegelijkertijd kunnen”, geeft Cochrane aan. Dat heeft er ook mee te maken dat dit doel van Vultr niet per se het doel van de hyperscalers is. Als ze het zouden willen, zouden ze het natuurlijk wel kunnen, maar ze hebben andere prioriteiten. Maar dan nog is het knap dat een relatief kleine partij als Vultr dit kan bieden.

Cloud inferencing

We hebben nu de 32 regio’s, de twee stacks en het samenvoegen ervan. Daarmee zijn we er echter nog niet. Recent kondigde Vultr namelijk aan dat het een eigen cloud inferencing dienst introduceert. Deze nieuwe component gaat een cruciale rol spelen in de ambitie van Vultr om inferencing overal ter wereld mogelijk te maken. Inferencing is waar het om draait in gedistribueerde, hybride omgevingen. Het trainen van modellen vindt plaats op centrale locaties, maar de inferencing moet dichtbij de gebruiker en de applicatie plaatsvinden. Daarvoor heeft Vultr nu dus de cloud inferencing dienst bedacht.

Los van het praktisch nut van de cloud inferencing dienst, is ook de manier waarop Vultr deze in elkaar zet interessant. Dit doet het namelijk door oudere chips/GPU’s te hergebruiken in CDN-servers. Daar zijn ze namelijk nog altijd uitermate geschikt voor. Op deze manier kan Vultr een wereldwijd netwerk opzetten waarbij klanten kunnen beschikken over verschillende soorten omgevingen met navenante prijskaartjes, op basis van wat de wensen en de eisen zijn. Dat klinkt erg interessant wat ons betreft en is ook zeker iets wat nodig zal zijn zodra (Gen)AI echt diep verankerd is in organisaties. Met hun focus op prestaties en prijs lijkt Vultr goed gepositioneerd om hier een rol van betekenis in te spelen.

Lees ook: Vultr introduceert eigen globaal Content Delivery Network (CDN)-platform