2min Security

Open-source tool FuzzyAI maakt AI-ontwikkeling veiliger

Open-source tool FuzzyAI maakt AI-ontwikkeling veiliger

CyberArk stelt FuzzyAI beschikbaar. Dit is een open-source framework dat jailbreaks uitvoerde op alle belangrijke AI-modellen. En organisaties helpt bij het identificeren en aanpakken van kwetsbaarheden van die modellen. 

De makers deden onderzoek naar onder andere het omzeilen van security-buffers en het genereren van schadelijke uitvoer in cloud-hosted en in-house AI-modellen. FuzzyAI herkent deze kwetsbaarheden en kan gebruikers waarschuwen. 

De tool biedt organisaties een systematische aanpak voor het testen van AI-modellen tegen verschillende kwaadaardige inputs. Dit naast het blootleggen van potentiële zwakke punten in hun beveiligingssystemen. En het veiliger maken van AI-ontwikkeling en -implementatie. 

De kern van FuzzyAI is een fuzzer. Dit is een tool die softwarefouten en kwetsbaarheden blootlegt. Deze fuzzer doet dat via meer dan tien verschillende aanvalstechnieken, van het omzeilen van ethische filters tot verborgen systeemprompts. 

Eigen aanvalsmethoden toevoegen

Met FuzzyAI kunnen organisaties en onderzoekers ook hun eigen aanvalsmethoden toevoegen. Dit om testen op maat te maken voor domein-specifieke kwetsbaarheden. Bovendien kunnen ervaringen worden gedeeld binnen een community, zodat continue vooruitgang en kennisuitwisseling op het gebied van aanvalstechnieken en verdedigingsmechanismen plaatsvindt. 

Peretz Regev, Chief Product Officer bij CyberArk, legt uit dat de lancering van FuzzyAI een volgende stap is in de strategie voor AI-security van het bedrijf. Het moet organisaties in staat stellen om een belangrijke stap voorwaarts te zetten in het aanpakken van de beveiligingsproblemen die inherent zijn aan het zich ontwikkelende landschap van het gebruik van AI-modellen. 

Zwakke plekken identificeren

Het door CyberArk Labs ontwikkelde framework FuzzyAI toonde volgens Regev aan dat het in staat is om elk belangrijk getest AI-model te jailbreaken. FuzzyAI stelt organisaties en onderzoekers op deze manier in staat om zwakke plekken te identificeren. En om de AI-systemen die men gebruikt actief te versterken tegen opkomende bedreigingen. Het volledig uitbreidbare framework van FuzzyAI is per direct beschikbaar als open-source software op de GitHub-pagina van CyberArk Labs.