2min

Onderzoekers van Amazon hebben recentelijk gekeken naar de voordelen van ‘evolutionaire AI-algoritmes’. Ze zoomen in een paper in op technieken die toe te passen zijn op ieder ‘computational model’.

Venturebeat schrijft dat het selecteren van een neurale architectuur waarschijnlijk niet de beste oplossing biedt voor een machine learning-probleem. Volgens onderzoeker Adrian de Wynter maakt het daarbij niet uit welk leeralgoritme er gebruikt is, welke architectuur er geselecteerd is of hoe de trainingsparameters zijn afgesteld.

“Alleen door een grote hoeveelheid mogelijkheden te overwegen kunnen we een architectuur identificeren die met theoretische garanties komt over de accuraatheid van zijn computations.”

Evolutionaire aanpak

Om die reden evalueert het team van Amazon oplossingen voor het ‘function approximation problem’. Dat is een wiskundige abstractie van de manier waarop AI-algoritmes door parameters zoeken om de output van een doelfunctie te benaderen. Dit herformuleren ze als een probleem van het vinden van een sequence van bekende functies, die de outputs van een doelfunctie schatten. Volgens de wetenschappers levert dit een betere systeemmodellering op.

Het onderzoek suggereert dat de componenten van een AI-model geselecteerd moeten worden op zo’n manier dat een equivalent van een Turing-machine (naam voor een specifiek computation model) garanderen. Ook stellen de wetenschappers dat modellen het beste geïdentificeerd kunnen worden via een geautomatiseerde zoekactie die procedures gebruikt om architecturen voor specifieke taken te ontwerpen.

Algoritmes binnen dergelijke zoekopdrachten beginnen daarmee door andere algoritmes te genereren voor het oplossen van een probleem. De kandidaten met de beste prestaties worden met elkaar gecombineerd en vervolgens opnieuw getest.

Toepassingen

De paper heeft dan ook een direct toepasbaar resultaat, stelt De Wynter. Dat resultaat is het identificeren van genetische algoritmes en ‘co-evolutionaire algoritmes’, waarbij de performance metric afhangt van interacties met elkaar, als de meest praktische manier om een optimale architectuur te vinden.

“Veel onderzoekers zijn op basis van ervaring tot de conclusie gekomen dat co-evolutionaire algoritmes de beste manier beiden om machine learning-systemen te bouwen”, aldus de onderzoeker. “Maar het function-approximation framework uit mijn paper helpt om een veiligere theoretische fundering te leggen voor hun intuïtie.”