Google Cloud maakt het mogelijk om virtuele instances op te zetten met behulp van zijn Tensor Processing Units (TPU) AI-chipsets. Deze instances kunnen worden gebruikt voor zware workloads, om diverse AI-toepassingen te draaien en te verwerken.
Met de nu in preview geïntroduceerde technologie, Cloud TPU VM’s, kunnen klanten direct hun TPU-chipsets koppelen aan de nu opgezette instances. Deze koppeling voorkomt onder meer netwerkvertraging die ontstaat tussen de diverse applicaties en de Google Cloud instances bij het gebruik van TPU-chipsets.
Cloud TPU VM-technologie
Klanten konden al met de TPU-chipsets virtuele instances opzetten in Google Cloud, maar dit gaf wat nadelen. Deze instances draaiden niet in dezelfde serveromgeving als de TPU’s en werden op afstand via een netwerkverbinding met de chipsets verbonden. Hierdoor ging de verwerkingssnelheid omlaag, doordat de betreffende applicaties de data via het netwerk naar een TPU moesten sturen en vervolgens wachten tot de verwerkte data weer werden teruggestuurd.
Door de vertraging nu te beperken, gaan klanten volgens Google veel kosten besparen. Het versturen van grote hoeveelheden data van een instance naar een TPU kost veel rekenkrachtcapaciteit en vereist dus ook meer instances. Aangezien het voor de Cloud TPU VM’s niet nodig is om de data via een netwerkverbinding te sturen, kunnen klanten besparen op de aanschaf van die extra benodigde capaciteit.
Twee varianten
Google biedt de Cloud TPU VM’s in twee varianten aan. De eerste variant is de Cloud TPU v2, op basis van de tweede generatie TPU-chipsets, en daarnaast de nieuwere Cloud TPU v3-versie. Deze is op derde generatie TPU gebaseerd. Het verschil tussen deze twee zit volgens Google Cloud in de prestaties. Een Cloud TPU v2 kan prestaties tot 180 teraflops leveren en de TPU v3 tot maar liefst 420 teraflops. Opvallend is wel dat de cloud instances nog niet worden geleverd op de laatste v4 TPU’s.
Use cases
Een use case voor de Cloud TPU VM’s isr het ontwikkelen van algoritmes op de al bestaande Cloud TPU Pods. Dit zijn grote clusters van AI-servers op basis van TPU’s. Vooral zijn deze oplossingen geschikt voor het draaien van zeer complexe modellen voor machine learning. Het snelste cluster biedt bijvoorbeeld capaciteit van meer dan 100 petaflops per seconde. Hierdoor wort het bouwen van algoritmes op deze clusters een stuk goedkoper. Klanten hoeven alleen de huur van een pod te betalen en de migratiekosten naar meer krachtige hardware bij het in productie gaan. Daarnaast is Google Cloud van plan de Cloud TPU VM’s te gebruiken in zijn plannen voor quantum computers.
De preview van de Cloud TPU VM’s is nu beschikbaar en kan al worden gebruikt voor het testen van AI-toepassingen.
Tip: Google introduceert nieuwe TPU v4 ASIC’s voor ML-workloads
10 uur geleden
