2min

Google heeft een techniek voor pretraining van natural language processing (NLP) open source gemaakt. Het gaat om BERT. Daarmee moeten ontwikkelaars binnen 30 minuten een NLP-model kunnen trainen op een enkele Cloud TPU of binnen een paar uur op een GPU. 

NLP is een onderdeel van kunstmatige intelligentie (AI), waar vertalingen, analyses van sentimenten, semantische zoekopdrachten en andere taalgerelateerde taken onder vallen. Het trainen hiervan moet echter met grote datasets, waardoor het een uitdaging is voor onderzoekers. Een populaire oplossing is pretraining, waarmee algemene taalmodellen die getraind zijn op niet-gelabelde teksten verfijnd worden om specifieke taken uit te voeren.

BERT

Google doet dit zelf met zijn Biderectional Encoder Representations from Transformers, ook wel BERT genoemd. Die techniek is nu open source gemaakt en beschikbaar op Github. In de techniek zitten vooraf getrainde taalrepresentatiemodellen in het Engels en source code gebouwd bovenop het TensorFlow machine learning-framework.

Volgens Google zelf is BERT uniek omdat het toegang biedt tot context van de verleden en tegenwoordige tijd. Daarnaast kan het data gebruiken dat geen classificatie of label heeft. Gebruikelijke NLP-modellen genereren een enkele context-vrije wiskundige representatie van woorden, voor ieder woord in hun vocabulaire.

BERT kan relaties tussen zinnen creëren door vooraf getraind te worden op een taak die gegenereerd kan worden uit iedere corpus. Het geheel is gebouwd op Google’s Transformer, een open source neural network-architectuur dat gebaseerd is op een self-attention-mechanisme dat geoptimaliseerd is voor NLP.

Andere tools

Eerder maakte Google AdaNet al beschikbaar, een open source tool om machine learning-algoritmes te combineren om betere inzichten in voorspellingen te krijgen. Ook werd ActiveQA beschikbaar, een onderzoeksproject dat het gebruik van reinforcement learning onderzoekt om AI-agents te trainen om antwoorden te geven op vragen.