Google wil het ontwikkelen van AI-modellen op basis van machine learning nog makkelijker maken. Hiervoor heeft de techgigant onlangs een nieuwe runtime uitgebracht van zijn TensorFlow-platform. Dit maakt het gebruik van machine learning-modellen nog makkelijker voor meerdere devices.
Volgens de techgigant is de belangrijkste reden voor het uitbrengen van de nieuwe versie van de TensorFlow runtime dat de ontwikkeling van machine learning-modellen en -ecosystemen sterk aan verandering onderhevig is. Dit betekent dat er steeds meer complexe modellen en uitrolscenario’s komen die meer rekenkracht nodig hebben.
Aanpassing runtime
Om hieraan tegemoet te komen, heeft Google nu dus zijn TensorFlow runtime aangepast en geoptimaliseerd. In plaats van de huidige TensorFlow-stack die is geoptimaliseerd voor een grafische uitrol, krijgt het machine learning-platform en -ecosysteem nu een meer high peformance en low-lever runtime. Deze runtime moet ook minder overhead bewerkstelligen bij de uitvoer van machine learning-operaties.
De nieuwe runtime moet onder meer het gebruik van multithreaded host CPU’s efficiënter maken. Ook moet de runtime asynchrone programmeermodellen ondersteunen en zich richten op low-level efficiency. Verder zorgt de nieuwe runtime ervoor dat kernels makkelijker draaien op de gewenste hardware. Dit maakt de runtime geschikter voor een grotere variant aan devices.
Eigenschappen TensorFlow Runtime
De nieuwe TensorFlow Runtime (TFRT) beschikt over een lock-free graphic executor met een lage synchronisatie overhead. Ook splitst TFRT de device runtimes en de host runtime, het basisonderdeel dat de host CPU en I/O-werkzaamheden voor zijn rekening neemt, op. Daarnaast is de runtime nu geïntegreerd met MLIR’s compiler-infrastructuur voor verdere verbeteringen voor het uitvoeren van de runtime genereert en optimaliseert.
De nieuwe TFRT van Google is in het bijzonder geschikt voor onderzoekers die een snellere iteratietijd en een betere error reporting willen. Daarnaast kunnen applicatieontwikkelaars profiteren van verbeterde prestaties. Ook hardware-fabrikanten kunnen met de nieuwe runtime beter edge- en datacenter devices modulair in TensorFlow integreren.
Ontwikkeltraject TFRT
TFRT wordt in eerste instantie als een opt-in feature in TensorFlow geïntegreerd. Hiermee wil Google ervoor zorgen dat opstartproblemen makkelijker worden gerepareerd en de prestaties kunnen worden gefinetuned. Wel wordt TFRT straks de default runtime in TensorFlow.
8 uur geleden
