2min

Tags in dit artikel

,

Google heeft in samenwerking met de universiteit UC Berkeley een nieuw model geïntroduceerd van het in 2017 gelanceerde Transformer machine learning systeem. Het nieuwe model gaat onder de naam Reformer en werkt sneller en efficiënter dan zijn voorganger.

Hoewel Google’s Transformer model veelvuldig wordt gebruikt in de wereld van AI en machine learning, heeft het systeem zijn beperkingen. Zo heeft de Transformer problemen met grote contextuele kaders, waarbij het aantal compute berekeningen al snel te zwaar wordt. Reformer zou dit probleem moeten verhelpen en ervoor moeten zorgen dat er minder rekenkracht nodig is om bijvoorbeeld teksten te begrijpen, vertalen en genereren.

Google Transformer vs. Reformer

Transformer modellen werken met neuronen (mathematische functies), die gerangschikt worden in verschillende lagen. Deze lagen zijn onderling verbonden en verwerken input signalen naar uitgaande signalen, terwijl de synaptische kracht tussen elke verbinding langzaam wordt aangepast en dynamisch berekend. Op deze manier kan een AI model bepaalde kenmerken en functies van bijvoorbeeld een tekst extraheren en voorspellingen leren maken.

Dit systeem is echter relatief inefficiënt en dat is de reden dat Google Reformer heeft ontwikkeld. Bij Reformer worden zogenaamde hash functies gebruikt om vergelijkbare vectoren te groeperen. Hierdoor kan het systeem telkens relatief kleine groepen data doorzoeken in plaats van het doorzoeken van alle mogelijke vector paren. Zo krijgen bij een vertaaltaak alle woorden die hetzelfde betekenen in verschillende talen dezelfde hash. Nadat de hashes zijn toegewezen, worden deze gegroepeerd en verdeeld in verschillende segmenten om het parallel verwerken van de data mogelijk te maken.

Iets anders dat Reformer efficiënter maakt dan Transformer is het feit dat de nieuwe architectuur de input van iedere laag in het systeem on-demand herberekent in plaats van alle data in het geheugen op te slaan.

16GB AI chip nodig

Door deze efficiëntie is het mogelijk om Reformer te draaien op een enkele AI accelerator chip met slechts 16GB aan RAM. Hiermee zou het systeem volgens betrokken researchers Lukasz Kaiser en Nikita Kitaev zelfs een veel groter context kader aankunnen dan alle huidige bestaande datasets. In testen wist Google’s Reformer de volledige tekst van het boek Crime and Punishment van Dostoyevsky te verwerken en kon het systeem full-frame beelden pixel voor pixel weer genereren. Afgezien van teksten en foto’s genereren, zou Reformer in de toekomst ook ingezet kunnen worden voor het genereren van muziek en video’s.