Door AI-modellen lokaal op mobiele apparaten te draaien, kan flink bespaard worden op latency. Facebook heeft met die gedachte in het achterhoofd zijn framework PyTorch voor kunstmatige intelligentie (AI) geüpdatet met ondersteuning voor nieuwe functies waarmee AI-modellen naadlozer naar mobiele apparaten gebracht moeten worden.
PyTorch wordt door ontwikkelaars gebruikt om AI-modellen voor software-applicaties te onderzoeken en te bouwen. De modellen worden vervolgens naar productie gebracht dankzij de integraties met leidende public cloud-platformen.
Maar als machine learning-modellen op een mobiel apparaat zelf kunnen draaien, kan er flink bespaard worden op latency. Informatie hoeft immers niet meer eerst naar de cloud verstuurd worden, om daar verwerkt te worden. Dat is wat Facebook nu probeert aan te pakken met de update voor PyTorch, schrijft Silicon Angle.
Updates
PyTorch krijgt nu ondersteuning voor een end-to-end workflow van Python tot deployment op iOS en Android. De functie is nog experimenteel, meldt Facebook. Toekomstige releases krijgen dan ook updates voor prestaties op mobiele CPU’s en GPU’s, en er komen uitgebreidere API’s die zich bijvoorbeeld op computer vision richten.
Facebook heeft PyTorch ook van een tweede experimentele functie voorzien, die efficiënter gebruik van server-side en on-device compute resources mogelijk moet maken. PyTorch krijgt daarvoor ondersteuning voor ‘8-bit model quantization’. Quantization is een referentie naar technieken die gebruikt worden om computation en opslag uit te voeren met verminderde precisie.
PyTorch krijgt bovendien een geheel nieuwe tool genaamd Captum. Captum is ontworpen om ontwikkelaars beter te laten begrijpen waarom hun machine learning-modellen tot een bepaalde conclusie komen.
Tensor Processing Units
Verder is er een Detectron2 object detection library die moet helpen bij onderzoek naar computer vision. Facebook lanceerde daarnaast een nieuwe op de gemeenschap gebaseerd onderzoeksproject genaamd CrypTen, dat de implementatie van privacy- en beveiligingstechnieken onderzoekt.
Tot slot ondersteunt PyTorch nu de Tensor Processing Units van Google Cloud, om de ontwikkeling en training van machine learning-modellen te versnellen. De Tensor Processing Units kunnen samengevoegd worden in multi-rack machine learning-supercomputers, met de naam Cloud TPU Pods.
Deze Cloud TPU Pods maken het mogelijk om machine learning-workloads in slechts minuten of uren af te ronden. Eerder kostte dat dagen of weken. Ondersteuning voor Cloud TPU Pods is nog experimenteel, waarschuwt Facebook.
8 uur geleden
Expert bijdrage
