Facebook maakt AI-toolkit Horizon voor ‘reinforcement learning-modellen’ open source

Facebook heeft een belangrijk onderdeel van zijn kunstmatige intelligentie (AI)-software open source gemaakt. Daarmee kunnen ontwikkelaars “reinforcement learning-modellen” maken in hun software-applicaties, meldt Silicon Angle.

Ontwikkelaars kunnen nu de Horizon-toolkit gebruiken om applicaties te bouwen die kunnen leren om specifieke computing-taken uit te voeren via trial en error. Facebook zelf heeft Horizon al voor diverse taken gebruikt, onder meer om zijn systemen te leren voorspellen op welke notificaties gebruikers waarschijnlijk reageren.

Horizon helpt bijvoorbeeld te begrijpen dat gebruikers waarschijnlijk vaker reageren op een “like” van zijn moeder dan van tientallen anderen die ook reageerden op het bericht. Als gevolg daarvan worden moeders prominenter weergegeven, om te zorgen dat een gebruiker reageert. Ook is Horizon ingezet om persoonlijke suggesties te geven via de assistent M in Messenger.

Reinforcement learning is een AI-onderdeel dat onder meer gesimuleerde omgevingen gebruikt om programma’s te leren hoe ze bepaalde taken uit moeten voeren. Facebook gebruikt dit bijvoorbeeld om te bepalen of ze video’s van hoge of lage kwaliteit moeten streamen naar gebruikers, afhankelijk van de sterkte van hun mobiele verbinding of hun locatie.

Mijlpaal

Computers worden bij dit systeem beloond of bestraft op basis van de uitkomst van hun acties. In het geval van de notificaties op Facebook gaven de engineers de systemen beloningen als een verstuurde notificatie naar een gebruiker resulteerde in een reactie. Kwam er geen reactie, dan werd het systeem bestraft. Op die manier leerden de systemen welke notificaties prioriteit moeten krijgen om meer reacties te krijgen in de vorm van likes of reacties.

Holger Mueller, analist bij Constellation Research, stelt dat het open source maken van Horizon een mijlpaal is, omdat reinforcement learning op grote schaal moeilijk is te bereiken voor bedrijven. Met deze beslissing wordt het platform waarschijnlijk vaker geadopteerd en komt er meer aandacht voor. Er blijven echter wel uitdagingen, omdat Horizon draait op het PyTorch machine learning-framework, dat moeite heeft om bij te blijven met Google’s populairdere TensorFlow.