Onderzoekers maken tool om deep learning-processen te visualiseren en te corrigeren

Kunstmatige intelligentie (AI) en machine learning maken een sterke ontwikkeling door, vooral door de technologische stappen die worden gezet met deep learning en neurale netwerken. Toch blijft het automatische beslissingsproces van AI voor gebruikers ondoorgrondelijk. IBM en de Harvard University hebben nu de tool Seq2Seq-Vis ontwikkeld, die ontwikkelaars inzicht geeft in dit beslissingsproces en mogelijkheden voor bijsturing en correctie.

De nu door Big Blue en de bekende Amerikaanse universiteit ontwikkelde tool maakt het ontwikkelaars het mogelijk, zo schrijft Venturebeat, om het beslissingsproces van kunstmatige intelligentie visueel in beeld te brengen wanneer het een sequentie van woorden van de ene naar een andere taal vertaalt.

De tool geeft hiermee inzicht in het zogeheten ‘black box’-probleem dat ontwikkelaars hebben omdat ze niet kunnen zien welke beslissingen bijvoorbeeld diepe neurale netwerken maken. Dit is een van de belangrijkste problemen waar de AI-industrie op dit moment tegen aanloopt. Het verkrijgen van dit inzicht is belangrijk, omdat kunstmatige intelligentie steeds vaker voor kritische doeleinden wordt ingezet.

Sequence-to-Sequence-modellen

Seq2Seq-Vis richt zich op zogeheten ‘sequence-to-sequence’-modellen. Dit is de AI-architectuur die nu in de meeste geautomatiseerde vertaalsystemen wordt gebruikt. Deze architectuur is in staat om een input-reeks van willekeurige lengte om te zetten in een output van eveneens willekeurige lengte.

Hierbij wordt de ‘bron-string’ van, in dit geval, woorden, door verschillende neurale netwerken gehaald om het in de doeltaal in te delen, te verfijnen en zo een grammaticaal en semantisch correct antwoord te geven.

Neurale netwerken verbeteren dit proces maar maken het ook complexer. Ontwikkelaars kunnen moeilijk definiëren waar in het beslissingsproces de fouten zijn ontstaan en kunnen deze niet zomaar corrigeren. Voor dit inzicht is de tool nu ontwikkeld.

Visuele weergave

Concreet geeft Seq2Seq-Vis een visuele weergave van de verschillende stappen in een sequence-to-sequence-vertaalproces. Gebruikers kunnen dan het beslissingsproces van het model onderzoeken en zien waar zich eventuele fouten voordoen

Door koppelingen te maken met trainingsgegevens voor het model, zien eindgebruikers ook of de ontdekte fouten te wijten zijn aan slechte trainingsvoorbeelden, de neurale netwerken die zinnen classificeren in de bron- en bestemmingstalen, een misconfiguratie van de verbinding tussen bron en bestemming of in de zogeheten ‘beam search’, het kunstmatige intelligentiemodel dat de uitvoer van het vertaalmodel verfijnt en voor grammaticale en semantische correctheid zorgt.

Daarnaast kunnen eindgebruikers de tool gebruiken om actief fouten te corrigeren. Zo kunnen ze individuele woorden selecteren en corrigeren in het output-proces. Ook kunnen zij de manier waarop de verbinding tussen in- en output de uitvoerposities toewijst opnieuw instellen.

Geen heilige graal

De onderzoekers geven wel aan dat de tool nog niet de heilige graal is voor het echt kunnen begrijpen van beslissingsprocessen van kunstmatige intelligentie. Veel menselijke kennis van de gebruikte modellen is nog steeds vereist en de tool moet toegang hebben tot de trainingsmethoden en andere technische details van de kunstmatige intelligentie die het wil helpen verbeteren. Seq2Seq-Vis is dan vooral geschikt voor architecten en trainers van kunstmatige intelligentie.