OpenAI heeft een intern AI-model ontwikkeld dat speciaal is getraind om kwetsbaarheden in andere AI-modellen op te sporen. Het model, GPT-Red, wordt gebruikt om aanvallen zoals prompt injections automatisch uit te voeren, zodat deze tijdens de ontwikkeling van nieuwe modellen kunnen worden verholpen. Volgens OpenAI heeft deze aanpak de weerbaarheid van GPT-5.6 Sol aanzienlijk vergroot.
Prompt injections gelden als een van de belangrijkste beveiligingsrisico’s voor AI-systemen die met externe gegevens werken. Daarbij worden verborgen instructies verwerkt in bijvoorbeeld e-mails, webpagina’s, documenten of broncode. Wanneer een AI-agent zulke instructies opvolgt, kan dat leiden tot ongewenste acties, zoals het versturen van gevoelige informatie of het uitvoeren van onbevoegde opdrachten.
OpenAI stelt dat traditionele red-teaming door menselijke beveiligingsonderzoekers onvoldoende schaalbaar is om gelijke tred te houden met de ontwikkeling van steeds krachtigere modellen. GPT-Red moet dat proces automatiseren. Het model probeert doelbewust AI-systemen te misleiden en leert daarbij steeds nieuwe aanvalstechnieken te ontwikkelen. Tegelijkertijd worden de aangevallen modellen getraind om dergelijke aanvallen beter te herkennen en te weerstaan. Deze vorm van training vindt plaats via zogenoemde self-play, waarbij aanvaller en verdediger elkaar voortdurend verbeteren.
Volgens OpenAI presteerde GPT-Red beter dan menselijke red-teamers in een interne evaluatie van indirecte prompt injections. Het model wist in 84 procent van de geteste scenario’s een succesvolle aanval uit te voeren, tegenover 13 procent voor menselijke testers. Daarnaast werd GPT-Red ingezet tegen een autonome AI-agent die een kantoorautomaat beheerde en tegen een programmeeragent. In beide gevallen wist het model kwetsbaarheden bloot te leggen die volgens OpenAI inmiddels zijn aangepakt.
GPT-Red moet AI-modellen sterker maken
OpenAI gebruikt voorlopers van GPT-Red al sinds GPT-5.3 tijdens de training van zijn productiemodellen. Volgens het bedrijf is GPT-5.6 Sol daardoor zes keer beter bestand tegen directe prompt-injectionaanvallen dan het beste productiemodel van vier maanden eerder. Een eerder effectieve aanvalstechniek, waarbij een model wordt misleid met zogenoemde fake chain-of-thought-instructies, zou inmiddels nog slechts in minder dan 10 procent van de gevallen slagen. OpenAI stelt daarnaast geen verslechtering te zien van de algemene modelprestaties of een toename van onterechte weigeringen van legitieme verzoeken.
GPT-Red blijft een intern hulpmiddel en zal niet worden uitgebracht. OpenAI wil voorkomen dat de aanvalstechnieken waarmee het model wordt getraind publiek beschikbaar komen. De kennis die GPT-Red tijdens zijn aanvallen opdoet, wordt uitsluitend gebruikt om toekomstige modellen beter te beveiligen. Volgens SiliconANGLE erkent OpenAI wel dat GPT-Red nog beperkingen heeft. Zo is het model minder effectief bij aanvallen die zich over meerdere gesprekken uitstrekken. Ook biedt het vooralsnog beperkte ondersteuning voor prompt injections via afbeeldingen. Om die reden blijft ook menselijke red-teaming onderdeel van het beveiligingsproces.