Facebooks meer dan 2,2 miljard gebruikers delen elke dag een ongelofelijk groot aantal foto’s. De sociale mediagigant moet die elke dag indelen, aan zoekresultaten toevoegen en scannen voor mogelijk schadelijke content. Een groot deel van die beelden bevat verder tekst, die ook geanalyseerd moet worden.
Om die taak aan te kunnen, heeft Facebook kunstmatige intelligentie met de naam Rosetta gebouwd. Vandaag heeft het bedrijf in een blog het bestaan van de assistent onthuld. Elke dag analyseert de assistent alle tekst die er op Facebook-foto’s te vinden valt.
1 miljard foto’s
Rosetta verzamelt dagelijks de tekst die op meer dan 1 miljard foto’s staat die op Facebook en Instagram gedeeld worden. Die tekst is in een boel verschillende talen geschreven. Het systeem analyseert verder niet alleen de standalone-foto’s, maar ook individuele frames in video’s. Daarvoor scant het al het beeldmateriaal op een andere manier dan traditionele tekstherkenningssoftware dat doet.
Normaliter worden enkel individuele letters in teksten geanalyseerd en doorgezet, zonder dat systemen de diepere context begrijpen. De behoeften van Facebook gingen echter verder. Het bedrijf wilde een systeem bouten dat ook de context van de afbeelding meeneemt. Dat deden de ontwikkelaars van Facebook door Rosetta van voorspellend vermogen te voorzien.
Uitgebreide analyses
Voor het analyseren van beeldmateriaal wordt ook historische data gebruikt, zodat er niet alleen een visueel profiel ontstaat van de letters, maar ook van de woorden die ze vormen en de context waarin ze staan. Die aanpak maakt het volgens Facebook mogelijk voor Rosetta om ook materiaal te ‘begrijpen’ dat niet eerder voorbijgekomen is.
Het systeem wordt voor een reeks toepassingen gebruikt. Rosetta maakt beeldmateriaal doorzoekbaar via Facebook en Instagram en bepaalt ook hoe en wanneer foto’s of video’s in tijdlijnen te zien moeten zijn. Ook bepaalt Rosetta of het eventueel schadelijke content is, zodat dit verwijderd kan worden.
Facebook schrijft in de blog nog dat Rosetta de komende tijd meer toepassingen moet krijgen.
37 minuten geleden
