Onderzoekers aan de ETH in het Zwitserse Zurich hebben een techniek ontwikkeld die de snelheid van neurale netwerken tot meer dan 300 keer kunnen versnellen. Met de techniek wordt de rekenkracht voor het inference-proces flink verminderd.
In het onderzoek ontwikkelden de Zwitserse onderzoekers een techniek voor het inference-proces, die de benodigde rekenkracht voor het gebruikte transformermodel ‘BERT’ met maar liefst 99 procent vermindert.
Transformermodellen zijn de onderliggende neurale netwerken van AI-modellen. Deze specifieke neurale netwerken bestaan uit verschillende lagen die verantwoordelijk zijn voor een groot deel van de parameters in een LLM. Deze transformers vragen vaak veel rekenkracht omdat deze het product moeten berekenen van alle neuronen en input-dimensies.
Introductie FFF’s
Uit het onderzoek blijk dat niet alle neuronen in de ‘feedforward’-lagen actief moeten zijn tijdens het inference-proces van iedere input. Zij stellen daarom ‘snelle feedforward’-lagen of FFF’s voor ter vervanging van de traditionele feedforward-lagen.
Door de nieuwe FFF’s de juiste neuronen voor iedere berekening te identificeren, kan deze technologie de ‘rekenkrachtload’ reduceren en daarmee de benodigde algemene rekenkracht. Uiteindelijk leidt dit tot snellere en meer efficiënte LLM’s, zo is de gedachte.
Onder de ‘motorkap’ gebruiken de FFF’s hiervoor een wiskundige actie; Conditional Matrix Multiplication (CMM)’. Deze wiskundige actie vervangt de Dense Matrix Multiplications (DMM) die de traditionele feedforward-netwerken gebruiken.
Tot 341 keer sneller
Uit de experimenten met de specifieke BERT-modellen blijkt dat de technologie, op basis van een algoritme, de verwerking van grote AI-modellen aanzienlijk kan versnellen. Uit testen bleek dit tot 341 keer sneller.
De techniek kan volgens de onderzoekers uit Zurich ook worden toegepast op LLM’s als GPT-3. Dit biedt nieuwe mogelijkheden voor snellere en meer efficiënte natural language-verwerking.
Tip: Anthropic lanceert Claude 2.1: ‘levert verbeteringen voor ondernemingen’
16 uur geleden
Expert bijdrage
