Google Cloud breidt het aanbod TPU’s en GPU’s uit voor AI-workloads. TPU v5e is onmiddellijk in preview beschikbaar, terwijl A3 GPU VM’s vanaf volgende maand algemeen beschikbaar komen.
Google Cloud kondigt twee toevoegingen aan in zijn aanbod voor AI-infrastructuur. AI-workloads tonen onderling namelijk enorme verschillen en de cloud-aanbieder wil graag een aanbod hebben waarin iedere AI-workload naar specifieke behoeften wordt bediend. Dezelfde gedachtengang inspireerde de cloud-aanbieder recent al tot de uitgave van nieuwe cloudopslag-diensten.
Lees ook: Zet je AI-workloads in op maat gemaakte cloudopslag-diensten van Google Cloud
TPU v5e
De eerste toevoeging moet het beheer van tensor processing units (TPU’s) eenvoudiger maken. TPU’s worden voor het trainen van een AI-model ingezet om de training efficiënter te laten verlopen door beter gebruik te maken van de beschikbare hardware.
Google Cloud belooft een aanbod dat zorgt voor een halvering van de benodigde trainingstijd ten opzichte van het vorige Cloud TPU v4-aanbod. Dat levert bovendien kostenbesparing op, terwijl er volgens de cloud-aanbieder niet wordt ingeboet op prestatie of flexibiliteit. “We balanceren prestaties, flexibiliteit en efficiëntie met TPU v5e-pods, waardoor maximaal 256 chips met elkaar te verbinden zijn met een totale bandbreedte van meer dan 400 Tb/s en 100 petaOps aan INT8-prestaties.”
TPU v5e kan integreren met Google Kubernetes Engine (GKE). Dit brengt de voordelen met zich mee dat het platform automatisch schaalt naargelang de behoefte en workload-orchestratie wordt overgenomen.
Verder is integratie mogelijk met Vertex AI en verschillende veelgebruikte frameworks zoals Pytorch, JAX en TensorFlow.
A3 GPU VM’s
A3 virtuele machines (VM’s) worden aangedreven door acht H100 Tensor Core GPU’s van Nvidia en twee Intel Xeon processors van de vierde generatie. In totaal is er opslagruimte voorzien van 2TB. Specifieke workloads die de VM’s willen dienen zijn generatieve AI-workloads en LLM’s die veel rekenkracht vragen.
Ten opzichte van de vorige generatie VM’s belooft Google Cloud dat training drie keer zo snel zal verlopen en beschikbare netwerk-bandbreedt tien keer efficiënter wordt verdeeld.