Google AI voorspelt voortaan het beste ML-model

Artificiële intelligentie (AI)-onderzoekers van Google hebben een AI ontworpen die voorspelt welke machine learning-modellen de beste resultaten opleveren. De off-policy classificatie (OPC) test de prestaties van AI-gedreven agents door evaluatie als een classificatieprobleem te beschouwen.

Dit maakten de onderzoekers bekend in de publicatie Off-Policy Evaluation via Off-Policy Classification. Het AI-onderzoeksteam benadrukt dat hun aanpak werkt met beeldinvoer en schaalt handig tot taken waaronder vision-based robotinteracties, aldus Venturebeat.

OPC is een variant van reinforcement learning, waarbij beloningen worden gebruikt om het softwarebeleid richting doelen te sturen.

Leren van oude data

“Volledig off-policy reinforcement learning is een variant waarbij een agent volledig leert van oude data, wat aantrekkelijk is omdat het model-iteratie mogelijk maakt zonder een fysieke robot. Met volledig off-policy RL kan men verschillende modellen trainen op dezelfde vaste dataset, zoals verzameld door eerdere agenten. Vervolgens kan het beste model worden geselecteerd”, legt Google software engineer, Alexa Irpan, uit.

Volgens de onderzoekers was het een uitdagende weg alvorens te komen tot de ontwikkelde OPC. Dit gezien het evalueren van een AI-modeltraining niet mogelijk zou zijn. Ook zou de zogeheten ground-truth-evaluatie over het algemeen te inefficiënt zijn bij methoden, die het evalueren van een groot aantal modellen vereist.

De onderzoekers hebben dit nu met behulp van OPC weten op te lossen. Ze veronderstellen dat taken weinig tot geen willekeur hebben in de manier waarop staten veranderen. Bovendien veronderstellen ze dat agents aan het einde van experimentele onderzoeken slagen of falen.

Q-learning-algoritme

Verder maakt OPC gebruik van een zogenaamde Q-functie om de toekomstige totale beloningen van acties te schatten. Iets dat is aangeleerd met een Q-learning-algoritme. Agenten kiezen acties met de grootste geprojecteerde beloningen, waarvan de prestaties worden gemeten aan de hand van hoe vaak de geselecteerde acties effectief zijn.

Iets wat weer afhankelijk is van hoe goed de Q-functie acties correct classificeert als zijnde effectief versus catastrofaal. De nauwkeurigheid van classificaties fungeert als een off-policy evaluatiescore.

SoftOP

Het team heeft de machines getraind middels simulatie met behulp van volledig off-policy reinforcement learning. Deze worden vervolgens geëvalueerd met behulp van de off-policy scores, die zijn getabelleerd uit eerdere real-world gegevens. Zo maakt het team onder meer melding van dat bij een robot grijptaak een variant van OPC, SoftOPC, het best presteerde in het voorspellen van het uiteindelijke slagingspercentage.

15 modellen van verschillende robuustheid, waarvan 7 geheel in simulatie zijn getraind, genereerden volgens het team SoftOPC-scores. Deze zouden nauw gecorreleerd zijn met echt succes en ‘significant betrouwbaarder’ zijn dan basis lijnmethoden.