2min

Tags in dit artikel

, , ,

Deep learning gebruikt algoritmes om inzichten uit data te halen die we voorheen nooit konden verkrijgen. Geen enkel algoritme is evenwel geschikt voor elke taak en het is een lang proces om de meest optimale architectuur te vinden. Een nieuw systeem dat werd ontwikkeld door IBM maakt gebruik van AI om dat proces te versnellen.

Martin Wistuba, datawetenschapper bij IBM Research in Ierland, beschrijft in een blogpost hoe dat in zijn werk gaat. Hij claimt dat het systeem 50.000 keer sneller is dan andere methodes, met maar een iets hogere error rate van maximaal 0,6 procent.

“Bij IBM selecteren ingenieurs en wetenschappers de beste architectuur voor een deeplearningmodel uit een groot aantal mogelijke kandidaten. Vandaag is dit een tijdrovend handmatig proces. Het gebruik van een krachtigere geautomatiseerde AI-oplossing om het neurale netwerk te selecteren, kan tijd besparen en niet-experts de mogelijkheid bieden om sneller deep learning toe te passen”, legt de onderzoeker uit. De selectie van een geschikt algoritme zou zo nog een kwestie van uren zijn.

 

Evolutionair algoritme IBM Martin Wistuba
De afbeelding toont de mutaties van de netwerkstructuur tijdens elk uur van het proces. (Beeld: Martin Wistuba, IBM)

Evolutionair algoritme

Wistuba spreekt over een “evolutionair algoritme” dat een convolutionele neurale netwerkarchitectuur als een opeenvolging van neurocellen beschouwt. Door een reeks mutaties toe te passen, wordt een structuur gezocht die de prestaties van het neurale netwerk voor een bepaalde dataset en machineleertaak verbetert.

“Deze aanpak verkort de netwerktrainingstijd aanzienlijk. De mutaties veranderen de structuur van het netwerk, maar veranderen de voorspellingen van het netwerk niet en kunnen onder meer lagen toevoegen, nieuwe verbindingen toevoegen, of kernels of lagen vebreden”, verduidelijkt Wistuba.


Lees dit: Jonathan Berte: “Artificiële intelligentie is een storm die op ons afkomt”


Wistuba gebruikte zijn methode om een geschikt classificatiemodel te vinden voor de CIFAR-10- en CIFAR-100-datasets. Dat zijn verzamelingen van gelabelde beelden die publiek beschikbaar werden gesteld door de University of Toronto om algoritmes voor beeldherkenning te trainen.

“Mijn algoritme had een iets hogere classificatiefout, maar vereiste aanzienlijk minder tijd in vergelijking met state-of-the-art door de mens ontworpen architecturen, resultaten van zoekmethoden op basis van reinforcement learning en resultaten voor andere geautomatiseerde methodes op basis van evolutionaire algoritmes.”

De IBM-onderzoeker hoopt dat zijn methode op termijn kan worden geïntegreerd in de clouddiensten van IBM en uitgebreid naar grotere datasets in andere domeinen. Hoewel evolutionaire algoritmes op zich niet nieuw zijn, betekent Wistuba’s systeem wel een belangrijke stap vooruit als het zo goed blijkt te werken als hij beweert.