Deep learning voor het ontwikkelen en trainen van grote AI-modellen loopt tegen zijn grenzen aan. Dit stellen onderzoekers van de Amerikaanse universiteit MIT in een recent onderzoek. Oorzaak hiervan is dat de benodigde rekenkracht niet meer kan groeien.
Deep learning is tegenwoordig een veel veelgebruikte manier om grootschalige AI-modellen te ontwikkelen en te trainen. Deze methode is vooral een voorwaarde voor onder meer image classification, object-detectie en het beantwoorden van vragen. Hiervoor is heel veel rekenkracht benodigd en moet -hoe groter de deep learning-processen worden- steeds meer worden uitgebreid.
Veel rekenkracht nodig
En daar zit volgens de onderzoekers van MIT nu het grote probleem. Uit onderzoek van meer dan duizend research papers blijkt dat deze rekenkracht op dit moment aan zijn limiet zit en onder de huidige omstandigheden niet meer kan groeien.
Deep learning gebruik niet bij toeval veel rekenkracht, zo stellen de onderzoekers. Deep learning gebruikt veel rekenkracht ‘by design’. Vooral waar het de flexibiliteit betreft. Deep learning is zeer makkelijk te gebruiken om modellen te bouwen en te trainen voor verschillende gebeurtenissen en daarnaast expert-modellen te ‘out performen’. Maar deze handelingen hebben wel veel rekenkracht nodig, waardoor de kosten van rekenkracht voor deep learning snel oplopen.
Benodigde rekenkracht onhoudbaar
In de ogen van de onderzoekers komt de benodigde rekenkracht binnenkort op het punt dat deze niet meer op financieel, technisch en duurzaam niveau valt te verantwoorden. Dit heeft tot gevolg dat deep learning-processen tegen hun grenzen aanlopen omdat zij dus beperkt worden in de benodigde rekenkracht. De onderzoekers noemen dit ook wel een ‘AI-winter’.
AI-specialisten zullen dus moeten nadenken over nieuwe mogelijkheden. Zij moeten óf de efficiency van deep learning gaan verbeteren óf zij worden gedwongen andere meer rekenkracht-efficiënte machine learning-technieken te gebruiken, aldus de onderzoekers van MIT.
Oplossingen in zicht
Gelukkig stellen de onderzoekers dat de specialisten wel met oplossingen voor deze rekenkrachtcrisis zullen komen. Zij denken daarbij aan onder meer betere algoritmes en andere methoden van machine learning. Ook verwachten zij dat de definitieve komst van quantum computing zal helpen een einde te maken aan de rekenkrachtlimiet waar deep learning nu tegenaan loopt.
10 uur geleden
