Kunnen machines ook abstract redeneren? Dat is het onderwerp van een onderzoekspaper die Google-dochter DeepMind gepresenteerd heeft, met de titel ‘Measuring abstract reasoning in neuraal networks’.
De paper werd gepresenteerd tijdens de International Conference on Machine Learning die deze week in Stockholm, Zweden, plaatsvond. Volgens de onderzoekers is abstract redeneren het vermogen om op een conceptueel niveau patronen te ontdekken en problemen op te lossen.
Zonder voorbereiding
Bij mensen kan dat vermogen empirisch aan een proef onderworpen worden, met tests waarbij mensen bijvoorbeeld de relatie tussen de positie van vormen en kleuren moeten bepalen. Maar die tests zijn niet perfect, vooral als mensen er teveel op geoefend hebben. Dat laatste is vooral een valkuil voor neurale netwerken, die alle voorgaande zetten ter beschikking hebben.
De oplossing van het team hiervoor was het maken van een generator die vragen bouwt rond een abstracte set factoren. Meegewogen worden relaties als ‘voortgang’ en attributen als ‘kleur’ en ‘formaat’. De factoren zorgden elke keer weer voor een andere set aan problemen. Zo was er bij sommige puzzels enkel een voortgangsrelatie te zien als de kleur van lijnen meegewogen werd.
Redelijk goed
Veel van de modellen die de onderzoekers ontwikkeld hadden deden het relatief goed in de test. Sommigen haalden een accuratesse van 75 procent. Dat hing vooral af van het vermogen van de modellen om de abstracte concepten van taken af te leiden.
Belangrijk was wel dat er bepaalde training vooraf geweest was. “De neurale netwerken die we getest hebben, deden het goed in bepaalde generalisaties, maar slecht op andere vlakken”, schrijft het team in een blog. “Het succes hing af van een reeks factoren, waaronder de architectuur van het gebruikte model, en of het model erop getraind was een interpretabele ‘reden’ voor zijn antwoordkeuzes te geven.”
7 uur geleden
