“Data Echoing”, een nieuwe techniek van Google, zou het trainen van AI-modellen drastisch versnellen in de vroege fases van het trainingsproces, meldt VentureBeat. Dat is wat wetenschappers bij Google Brain, de AI-onderzoeksafdeling van Google, rapporteren in een recent verschenen paper.
AI-accelerators als de Nervana Neural Network Processor van Intel of de Tensor Processing Units van Google zijn bedoeld voor het versnellen van AI-training, maar vroege fases in AI-trainingsprocessen profiteren niet van de boost die deze hardware biedt. Volgens de onderzoekers die bovengenoemde paper schreven is dit wel mogelijk als er gebruik wordt gemaakt van data echoing, een manier om outputdata te hergebruiken in een eerdere fase van het proces. In theorie zou dit een optimaal gebruik van processorkracht opleveren.
Maximale rekenkracht benutten
Normaal gesproken houdt een AI-trainingsproces in dat een AI-model de input leest, decodeert en vervolgens weer husselt. De data worden vervolgens van extra informatie voorzien en in batches verdeeld. Daarna worden de parameters van een algoritme telkens geüpdatet als de batches opnieuw gelezen worden. Uiteindelijk wordt de foutmarge van een AI-systeem dus steeds kleiner. Met data echoing wordt de output echter hergebruikt voordat er parameters geüpdatet worden, maar nadat de data van extra informatie worden voorzien. Voordat de parameters updaten wordt er op die manier ongebruikte rekenkracht benut.
Om de effectiviteit van data echoing te testen hebben onderzoekers van Google de tactiek toegepast op verschillende taken van AI-modellen. Het ging specifiek om twee ‘language modelling’-taken, twee ‘image classification’-taken en ‘object detection’-taak. Het model was getraind met open source-datasets. Vervolgens werd de tijd die nodig was terwijl er gebruik werd gemaakt van data echoing vergeleken met de tijd die nodig was zonder data echoing. Het resultaat was dat data echoing in alle gevallen, op één na, voor minder benodigde AI-training zorgde om een bepaalde foutmarge te bereiken. Als er dus een bottleneck voorkomt in de latere fases van AI-training zou data echoing een manier kunnen zijn om toch een verhoogde systeemcapaciteit te bereiken in eerdere stadia.
6 uur geleden
