AI-agents behoren momenteel tot de meest gebruikte vormen van GenAI-initiatieven binnen organisaties. Hun populariteit is eenvoudig te verklaren, maar ze kunnen tegelijkertijd een aanzienlijk risico vormen voor de IT-beveiliging.
Daarom moeten CISO’s scherp toezicht houden op elke AI-agent die binnen hun organisatie wordt ingezet. Dit kunnen extern gerichte agents zijn, zoals chatbots die klanten helpen hun bestellingen te volgen of hun aankoopgeschiedenis te raadplegen. Maar het kunnen ook interne agents zijn die ontworpen zijn voor specifieke taken, zoals het begeleiden van nieuwe medewerkers tijdens onboarding, of financiële teams helpen om afwijkingen te signaleren die op fraude kunnen duiden.
Dankzij recente ontwikkelingen in AI, en natural language processing (NLP) in het bijzonder, zijn AI-agents buitengewoon goed geworden in het reageren op gebruikers op een manier die sterk lijkt op menselijke conversaties. Maar om optimaal te functioneren en gepersonaliseerde antwoorden te geven, moeten deze agents vaak persoonlijke en gevoelige informatie verwerken. Hiervoor is een diepe integratie vereist met interne systemen, externe partners, databronnen van derden en zelfs het bredere internet.
Hoe je het ook bekijkt: AI-agents vormen een kwetsbaarheids-hotspot binnen elke organisatie.
Beheersen van opkomende risico’s
Hoe kunnen AI-agents een risico vormen voor je organisatie? Om te beginnen kunnen ze tijdens hun ontwikkeling onbedoeld toegang krijgen tot interne gegevens die ze nooit zouden mogen delen. Ze mogen alleen toegang hebben tot strikt noodzakelijke gegevens en deze alleen delen met geautoriseerde gebruikers, via beveiligde communicatiekanalen en met robuuste mechanismen voor datamanagement.
Daarnaast kunnen agents gebouwd zijn op onderliggende AI- en machine learning-modellen die kwetsbaarheden bevatten. Als hackers deze weten te misbruiken, kan dit leiden tot remote code execution en ongeautoriseerde toegang tot data.
Kwetsbare agents kunnen bovendien verleid worden tot interacties met kwaadwillenden die leiden tot ernstige risico’s. De antwoorden van een agent kunnen bijvoorbeeld worden gemanipuleerd door kwaadwillige invoer die het gedrag beïnvloedt. Een prompt injection kan het onderliggende taalmodel dwingen eerdere regels te negeren en nieuwe, schadelijke instructies op te volgen. Ook kunnen hackers via dergelijke inputs aanvallen uitvoeren op onderliggende databases of webservices.
De boodschap aan CISO’s en securityprofessionals is duidelijk: een strenge beoordeling en realtime monitoring zijn voor AI- en GenAI-initiatieven net zo essentieel als voor elke andere vorm van corporate IT. Dit geldt in het bijzonder voor agents die interacties verzorgen met klanten, medewerkers en partners.
Voorkom dat AI-agents een blinde vlek worden
Een logische eerste stap is het uitvoeren van een uitgebreide audit van alle bestaande AI- en GenAI-assets, inclusief agents. Dit moet een volledig overzicht opleveren van elke agent binnen de organisatie, inclusief de databronnen die zij gebruiken en de API’s en integraties die ermee verbonden zijn.
Heeft een agent bijvoorbeeld toegang tot HR-, boekhoud- of voorraadsystemen? Is er sprake van data van derden in het onderliggende model dat de interacties aanstuurt, of van data die van het internet is verzameld? Wie communiceert er met de agent? Welke typen gesprekken mag de agent voeren met verschillende soorten gebruikers, en welke gesprekken mogen zij voeren met de agent?
Het spreekt voor zich dat wanneer organisaties zelf nieuwe AI-toepassingen ontwikkelen, CISO’s en hun teams vanaf de eerste ontwerpfase nauw moeten samenwerken met het AI-team, zodat privacy-, beveiligings- en compliance-eisen vanaf het begin strikt worden gewaarborgd.
Na implementatie moeten IT-beveiligingsteams beschikken over search-, observability- en securitytechnologieën om de activiteiten en prestaties van een agent continu te monitoren. Deze tools moeten afwijkingen detecteren in datastromen, gebruikersgedrag en het type informatie dat wordt gedeeld – en gesprekken onmiddellijk kunnen stopzetten bij verdachte signalen.
Uitgebreide logging stelt IT-securityteams niet alleen in staat misbruik, fraude en datalekken te detecteren, maar ook om snel en effectief te reageren. Zonder logging kunnen agents onbewust langdurige interacties hebben met kwaadwillenden, wat kan leiden tot datadiefstal of blootstelling.
Een nieuw front voor security en governance
Tot slot moeten CISO’s alert blijven op zogenoemde shadow AI. Net zoals medewerkers eerder zonder toestemming consumentgerichte SaaS-tools gebruikten om werk gedaan te krijgen, zien we nu dat velen op eigen initiatief AI-gestuurde tools gebruiken zonder toestemming of toezicht van het IT-team.
IT-securityteams moeten shadow AI daarom actief opsporen en aanpakken. Dit betekent: ongeautoriseerde tools identificeren, de bijbehorende beveiligingsrisico’s beoordelen en snel handelen. Als de risico’s zwaarder wegen dan de productiviteitswinst, moeten de tools worden geblokkeerd. Waar mogelijk moeten teams medewerkers doorverwijzen naar veiligere, goedgekeurde alternatieven die voldoen aan de beveiligingsstandaarden van de organisatie.
Tot slot is het belangrijk te benadrukken dat, hoewel de interactie met een AI-agent kan aanvoelen als een gesprek met een mens, agents niet beschikken over menselijke discretie, oordeelsvermogen, voorzichtigheid of geweten. Daarom is duidelijke governance essentieel, en moeten gebruikers zich ervan bewust zijn dat alles wat zij met een agent delen kan worden opgeslagen, teruggevonden of blootgesteld op manieren die ze niet hadden voorzien.
Dit is een ingezonden bijdrage van Elastic. Via deze link vind je meer informatie over de mogelijkheden van het bedrijf.