Google stelt TorchTPU als open source beschikbaar. Hiermee kunnen ontwikkelaars AI-modellen die zijn gebouwd met PyTorch eenvoudiger uitvoeren op Google’s eigen Tensor Processing Units (TPU’s).
Google en Meta werkten samen aan de ontwikkeling van de technologie. TorchTPU neemt een drempel weg bij het gebruik van alternatieven voor Nvidia-GPU’s. Google deed de aankondiging tijdens de PyTorch Conference 2026. De software zorgt ervoor dat bestaande PyTorch-toepassingen met minimale aanpassingen op TPU’s kunnen draaien. Developers kunnen daarbij gebruik blijven maken van programmeerinterfaces en ontwikkeltools die ze kennen.
Tot nu toe ging het gebruik van PyTorch op Google’s AI-chips meestal gepaard met een extra softwarelaag, namelijk PyTorch/XLA. Die laag zorgde voor beperkingen bij het ontwikkelen, testen en uitvoeren van modellen. TorchTPU biedt directere ondersteuning voor PyTorch. De software maakt het onder meer mogelijk modellen interactief te testen voordat ze voor productie worden geoptimaliseerd.
Google en Amazon dagen Nvidia uit
Voor Google is de aankondiging strategisch belangrijk. Het is niet alleen de ontwikkeling van GPU’s die zorgt voor Nvidia’s marktdominantie. De sterke positie op de markt voor AI-processors dankt Nvidia ook aan het uitgebreide software-ecosysteem rond CUDA. Dit maakt het voor ontwikkelaars aantrekkelijk om Nvidia-hardware te gebruiken.
Google staat niet alleen in zijn poging deze afhankelijkheid te verminderen. Amazon introduceerde eerder deze week TorchNeuron. Hiermee kunnen PyTorch-toepassingen op Trainium-processors draaien zonder dat ontwikkelaars de code moeten herschrijven. Volgens TechCrunch wil Amazon bovendien bijdragen aan het centrale PyTorch-project om de software minder afhankelijk te maken van Nvidia-hardware.
Zoals hierboven gemeld, speelde Meta een belangrijke rol bij de ontwikkeling van TorchTPU. Het bedrijf wil zijn AI-infrastructuur kunnen uitbreiden zonder afhankelijk te zijn van één chiparchitectuur. Volgens Google gebruikt Meta de technologie inmiddels voor productietoepassingen, onder meer bij het uitvoeren van grote taalmodellen.
Training op duizenden chips
Google meldt dat TorchTitan met TorchTPU is getest op maximaal 8.192 Ironwood-TPU’s. Volgens het bedrijf werd bij het trainen van het Qwen 3 8B-model een Model FLOPs Utilization van maximaal 52 procent bereikt. Deze maatstaf geeft aan welk deel van de theoretische rekenkracht daadwerkelijk wordt benut voor het trainen van een AI-model.
Om de overstap te vereenvoudigen, introduceert Google ook de TPU agent suite. Deze toolset ondersteunt ontwikkelaars bij het migreren van toepassingen naar TPU’s en het oplossen van technische problemen. Ook paste Google zijn LiteRT-software aan om PyTorch-modellen beter te ondersteunen op onder meer smartphones, laptops en embedded systemen.
De beschikbaarheid van TorchTPU betekent niet automatisch dat Google’s chips voor iedere AI-toepassing sneller of goedkoper zijn dan de GPU’s van Nvidia. Wel verlaagt de software de overstapdrempel. Daarmee proberen Google en Amazon een belangrijk concurrentievoordeel van Nvidia te verkleinen. Namelijk de sterke verwevenheid van AI-software met zijn hardware.