2min

Microsoft heeft Counterfit uitgebracht. Dat is een tool waarmee ontwikkelaars de beveiliging van hun AI-systemen kunnen uittesten.

Volgens de techreus is Counterfit weinig meer dan een generiek commandline-tool waarmee het mogelijk is om meerdere AI-systemen op schaal aan te vallen. Microsoft gebruikt het zelf om zijn eigen AI-systemen te checken, maar de tool is open source en terug te vinden op GitHub. De tool kan zowel via Azure Shell in een browser worden uitgerold of lokaal worden geïnstalleerd in een Anaconda Python-omgeving.

Uit eigen behoefte ontstaan

“Deze tool is ontstaan uit onze eigen behoefte om Microsofts AI-systemen te beoordelen op kwetsbaarheden met als doel AI-diensten proactief te beveiligen, in overeenstemming met Microsofts verantwoordelijke AI-principes en Responsible AI Strategy in Engineering (RAISE) initiatief”, vertelt Microsoft in een blogpost.

Agnostisch voor omgevingen, modellen en data

Volgens Microsoft kan de tool AI-modellen onderzoeken die in welke cloudomgeving dan ook gehost worden, net als on-premises of in edge-netwerken. Bovendien kan het met alle soorten AI-modellen overweg. Securityprofessionals hoeven zich daarom niet te verdiepen in de werking van AI-modellen, maar kunnen in zich in plaats daarvan focussen op het onderzoeken van de beveiliging. Ook kan Counterfit overweg met alle soorten data, zij het tekst, afbeeldingen of generieke input.

Bescherming tegen adversarial machine learning

Een van de doeleinden waar de tool voor gebruikt kan worden, is om te controleren of het algoritme op een malafide manier beïnvloed kan worden. ZDNet geeft voorbeelden als het foppen van de herkenning van snelheidsborden door Tesla’s door zwarte tape op de borden te plakken. Een ander voorbeeld is de beruchte Tay-chatbot van Microsoft, die werd gemanipuleerd om racistische opmerkingen te maken.

Verder kan de tool gebruikt worden om AI-systemen te controleren op kwetsbaarheden en het maken van logs die eventuele aanvallen bijhouden.

Tip: Microsoft bevestigt Nuance over te nemen voor 16,5 miljard euro