2min

DeepMind, de kunstmatige intelligentie (AI) afdeling van Google, is druk bezig met de ontwikkeling van de techniek. Maar na jaren aan onderzoek naar hoe AI sterker kan worden tegen aanvallen en minder snel faalt, is niet duidelijk wat ‘falen’ nu eigenlijk betekent voor AI. DeepMind vraagt zich dat nu af. 

Het probleem is dat er te weinig menselijke inmenging is in de grenscondities van hoe neurale netwerken moeten functioneren, stelt ZDNet. Met andere woorden: het is niet duidelijk wat een AI precies moet doen om goed te werken, en wat voorwaarden zijn voor falen. In andere tech-aspecten is dat wel duidelijk. Vanuit het perspectief van een programmeur is een bug bijvoorbeeld al het gedrag dat niet overeenkomt met de bedoelde functionaliteit (specificatie) van een systeem.

Specificaties

Maar wat betekent het nu eigenlijk voor een neuraal netwerk om de “specificatie” die ervoor ontwikkeld is te volgen? Die specificatie is niet eens altijd duidelijk, stellen de onderzoekers van DeepMind bovendien. “Specificaties die het ‘correcte’ gedrag van AI-systemen omvatten, zijn vaak moeilijk om specifiek te definiëren.”

Ook bestaat er de mogelijkheid dat er niet één specificatie is, maar dat het er drie zijn. Dan is er de “ideale” specificatie, wat neerkomt op hetgeen waarvan de makers van het systeem zich voorstellen wat de AI kan doen. De “ontwerp”-specificatie omvat de “objectieve functie”, die speciaal geoptimaliseerd is voor een neuraal netwerk. En de “revealed” specificatie is de manier waarop het systeem daadwerkelijk werkt. Al die drie specificaties kunnen behoorlijk van elkaar afwijken.

Nu kun je dus zeggen dat een AI faalt op het moment dat er een mismatch is tussen de “ideale” specificatie en de “revealed” specificatie. Daarbij doet het AI-systeem dus niet wat de gebruiker wilt. Daarmee kan het ontwerpen van neurale netwerken gezien worden als een manier om de kloof tussen wens, ontwerp en het uiteindelijk gedrag te dichten.

Reinforcement learning systems

De onderzoekers van DeepMind stellen dan ook diverse routes voor om neurale netwerken die sterker zijn tegen fouten – en naar verwachting beter voldoen aan de specificaties – te testen en te trainen. Een manier is om AI zelf te gebruiken om uit te zoeken waar AI’s moeite mee hebben. Dit komt neer op het gebruik een reinforcement learning system, wat bijvoorbeeld gebruikt werd op AlphaGo van Google, om de slechtste manier te vinden waarop een ander reinforcement learning system kan falen.

DeepMind deed dit overigens ook, in een paper uit december vorig jaar. “We leren een functie met een tegenstrijdige waarde die uit ervaring voorspelt welke situaties het meest waarschijnlijk fouten veroorzaken voor de functions.” De agent slaat daarbij op een reinforcement learning agent. “Die geleerde functie gebruiken we vervolgens voor de optimalisatie om de evaluatie te richten op de meest problematische invoer.”

De methode leidt volgens de onderzoekers tot “grote verbeteringen bij willekeurige testen” van reinforcement learning systems.