Het is computer wetenschappers gelukt een prototype software te ontwikkelen, die niet alleen kan achterhalen of een foto een zogenaamde deepfake is, maar ook kan schatten welk model is gebruikt om het beeld te creëren. Het prototype is het resultaat van een samenwerking tussen academici aan de Michigan State University (MSU) en een team van Facebook AI Research (FAIR). Het doel van het project is om een tool te ontwikkelen, die campagnes kan ontmaskeren waarmee gecoördineerd desinformatie wordt verspreid.
Doorgaans worden machine learning modellen alleen getraind om te analyseren of het om een deepfake gaat. Het nieuwe prototype gaat echter verder en probeert ook de architectuur van het achterliggende generative adversarial network (GAN) te achterhalen. Dit gebeurt door middel van twee systemen: een Fingerprint Estimation Network (FEN) en een Parsing Network (PN). Het FEN-systeem analyseert eerst het beeld en zoekt naar verborgen patronen, die doen vermoeden dat het om een computer gegenereerde foto gaat. Vervolgens gaat het PN-systeem met deze patronen aan de slag en schat hoeveel lagen het deepfake neurale netwerk heeft. Daarnaast analyseert het PN-systeem ook hoe deze lagen mogelijk met elkaar verbonden zijn. Uiteindelijk wordt de output van het FEN-systeem door een binaire classifier gehaald om te bepalen of het om een deepfake gaat. Het systeem is getraind met een dataset van 100.000 deepfakes, gegenereerd door 100 GAN modellen. Bij testen had het prototype een accuratie van meer dan 99 procent.
Deepfakes koppelen aan campagne
“Onze reverse engineering methode is gebaseerd op het ontdekken van de unieke patronen achter het AI-model dat is gebruikt om een enkel deepfake beeld te genereren,” zegt FAIR onderzoeker Tal Hassner. “We kunnen de eigenschappen van de generatieve modellen, waarmee elke deepfake is gemaakt, inschatten en zelfs meerdere deepfakes associëren met het model dat ze mogelijk heeft geproduceerd. Dit levert informatie op over elke deepfake, zelfs de beelden waar voorheen geen informatie over bestond.”
Met het nieuwe prototype zouden onderzoekers meerdere deepfakes kunnen koppelen aan een bepaalde desinformatie campagne. De software zou bijvoorbeeld gebruikt kunnen worden om accounts te achterhalen die valse positieve of negatieve reviews posten voor producten. De code voor de software is te vinden op GitHub.
1 uur geleden
