De techgigant en cloudspecialist geeft aan dat het voor zijn Amazon Elastic Inference-dienst nu ook de open source machine learning-blibliotheek PyTorch ondersteunt. Klanten zouden hiermee flink kunnen besparen op hun uitgaven aan maken van voorspellingen met behulp van een bestaand getraind AI-model voor deep learning.
Concreet helpt de nu toegevoegde ondersteuning van PyTorch dat eindgebruikers van deze open source-functionaliteit voor machine learning straks de juiste rekenkracht kunnen toewijzen aan het uitvoeren van de processen voor het maken van voorspellingen met dit getrainde deep learning AI-model. Hiermee kunnen ze dan flink op hun compute-kosten besparen, aldus AWS.
PyTorch
PyTorch is een door Facebook ontwikkelde open source machine learning-bibliotheek voor vooral toepassingen als computer vision en Natural Language Processing (NLP). De modellen zijn erg populair onder ontwikkelaars omdat zij ‘dyamic computional graphs’ gebruiken. Hiermee kunnen ziij simpel deep learning AI-modellen ontwikkelen met behulp van de programmeertaal Python.
Specifieke PyTorch-bibliotheken zijn onder meer standaard beschikbaar in Amazon SageMaker, AWS Deep Learning AMI’s en AWS Deep Learning Containers. Hierdoor kunne ontwikkelaars binnen deze omgevingen PyTorch-modellen snel in productie nemen, zonder veel codewijzigingen.
Hulp bij terugdringen compute-kosten
Volgens de techgigant zorgt het uitvoeren van deze processen voor ongeveer 90 procent van de totale compute-kosten voor het draaien van deep learning workloads met PyTorch voor hun rekening. Het selecteren van de juiste compute instance voor deze berekeningen is een moeilijk proces. Dit omdat, aldus AWS, ieder deep learning-model zijn eigen eisen heeft voor het gebruik van het juiste aantal grafische processoren (GPU), CPU’s en geheugenbronnen. Wanneer bijvoorbeeld alles voor één GPU wordt geoptimaliseerd, dan worden andere onderbenut en dat is natuurlijk zonde van de kosten.
Door nu PyTorch te ondersteunen zorgt de dienst Amazon Elastic Inference nu ervoor dat eingebruikers de juiste hoeveelheid grafische processors kunnen gebruiken om het uitvoeren van de processen voor de voorspellingen te versnellen. Dit geldt dan speciaal voor zowel Amazon EC2, Amazon ECS en Amazon SageMaker instances.
3 uur geleden
