2min

Tags in dit artikel

, ,

Onderzoekers van Google hebben LaserTagger ontwikkeld, een open source model dat een opeenvolging van tekstbewerkingen voorspelt. Op die manier moet een brontekst omgezet worden in een doeltekst. Google beweert dat LaserTagger het genereren van tekst op een manier aanpakt die minder gevoelig is voor storingen. Ook is het model makkelijker te trainen en sneller uit te voeren.

De release van LaserTagger volgt op een aantal andere bijdragen van Google op het gebied van taalverwerking en -begrip. Deze week onthulde de tech-gigant Meena, een neuraal netwerk met 2,6 miljard parameters dat multi-turn dialoog aankan. Verder publiceerde Google eerder deze maand een paper waarin Reformer wordt beschreven, een model dat hele romans kan verwerken.

Overlap tussen invoer en uitvoer

LaserTagger maakt gebruik van het feit dat er voor veel tekstgeneratie-taken vaak een overlap is tussen de invoer en de uitvoer. Bij het opsporen en repareren van grammaticale fouten of bij het samenvoegen van meerdere zinnen kan bijvoorbeeld het grootste deel van de invoertekst onveranderd blijven. In zo’n geval hoeft slechts een klein deel van de woorden te worden aangepast. LaserTagger voert dan een reeks bewerkingen uit in plaats van het plaatsen van daadwerkelijke woorden, zoals het commando keep (dat een woord kopieert naar de uitvoer), delete (dat een woord verwijdert), en keep-addx of delete-addx (dat een zinsnede toevoegt voor een getagd woord, en optioneel het getagde woord verwijdert).

De toegevoegde zinnen komen uit een relatief beperkte woordenschat, die geoptimaliseerd is. Zo kan de omvang van de woordenschat geminimaliseerd blijven, terwijl het aantal trainingsvoorbeelden gemaximaliseerd wordt. De woorden die nodig zijn voor de doeltekst komen alleen uit die woordenschat, waardoor het model geen willekeurige woorden kan toevoegen en het probleem van ‘hallucinatie’ (het produceren van uitvoer die niet aansluit op de invoertekst) wordt beperkt. Bovendien kan LaserTagger bewerkingen met een hoge nauwkeurigheid voorspellen, waardoor een versnelling van het volledige proces mogelijk is, in vergelijking met modellen die sequentieel voorspellingen doen.