Salesforce wil AI voorzien van ‘gezond verstand’

Het onderzoeksteam van Salesforce heeft een paper geschreven, waarin het beschrijft hoe kunstmatige intelligentie (AI) voorzien kan worden van ‘common sense’ (gezond verstand), schrijft Silicon Angle. Daarmee moeten AI-modellen niet alleen vragen correct beantwoorden, maar ook uitleg geven over waarom die antwoorden het beste zijn. 

Een groot probleem dat machine learning en deep learning nog steeds hebben, is dat de neurale netwerken die ze inzetten niet de algemene kennis en context hebben die mensen wel hebben. Het gaat dan bijvoorbeeld om sociale regels, de wetten van de natuur en oorzaak en gevolg. Daardoor kunnen beslissingen soms vreemd of fout zijn. Het onderzoeksteam van Salesforce wil daar verandering in brengen.

CoS-E

In de paper stellen de onderzoekers voor om neurale netwerkmodellen niet alleen met data uit verschillende datasets te trainen om vragen accuraat te beantwoorden, maar ook met uitleg over waarom deze antwoorden het beste zijn. Het bedrijf heeft mensen ingehuurd via de Mechanical Turk-crowdsourcing-dienst van Amazon om de uitleggen te bieden voor voorbeelden in de Commonsense Question Answering-dataset, die eerder dit jaar al werd voorgesteld door onderzoekers van de Tel-Aviv University en het Allen Institute for Artificial Intelligence.

Het resultaat is een geheel nieuwe dataset die Salesforce de Common Sense Explanations (CoS-E). Daarmee is het mogelijk om grote hoeveelheden ongelabelde tekst te pakken, algemene kennis uit die tekst te halen en hier redeneringen achter te stoppen.

Het neurale netwerk bleek bovendien veel beter te presteren op de echte test nadat  het voorbeelden had gezien van menselijke redeneringen tijdens de trainingsfase. Wetenschapper Nazneen Rajani van Salesforce stelt dat dit mogelijk komt doordat de uitleg belangrijke informatie geeft over hoe de wereld werkt. “We speculeren dat het netwerk leert te redeneren op basis van die informatie tijdens de tests.”

Tweede test

In een tweede deel van het onderzoek trainden de onderzoekers een tweede neuraal netwerk om alleen te leren hoe het redeneringen op basis van common sense kan genereren op basis van stukken tekst die het moest lezen, om zo de gegenereerde verklaringen van CoS-E na te maken. Het zogenaamde Commonsense Auto-Generated Explanations (CAGE) framework deed het zelfs nog beter op het gebied van de accuraatheid van de antwoorden. Toch loopt het met een score van 65 procent nog wel achter op de accuraatheid van mensen, die 95 procent is.

De wetenschappers verwachten dat de resultaten beter worden als het model beter bekend wordt met kennis over de wereld. De bedoeling is dat er een dataset met de commonsense verklaringen open source wordt gemaakt.