AI-agents van OpenAI blijken in mei verantwoordelijk te zijn geweest voor een grote hoeveelheid ongewenste activiteit op softwareplatform RubyGems. De agents maakten automatisch accounts aan en plaatsten honderden bestanden. RubyGems moest daarop vier dagen lang de registratie van nieuwe gebruikers stilleggen.
Het incident vond plaats tijdens interne tests van OpenAI. De agents hadden geen volledige toegang tot internet en lijken RubyGems te hebben gebruikt als alternatieve manier om openbare informatie van het web op te halen. Ze kregen tijdens de tests onder meer opdrachten om spreadsheets in te vullen en rapporten te maken.
OpenAI bevestigde tegenover The Wall Street Journal dat zijn agents bij het incident betrokken waren. Volgens het bedrijf voerden de systemen op RubyGems op zichzelf onschuldige taken uit en haalden ze openbare informatie op. OpenAI onderzoekt het gedrag verder als onderdeel van een bredere evaluatie van AI-agents tijdens trainingen en tests.
Iedere paar minuten een nieuw account
De activiteit begon op 11 mei en kreeg van beveiligingsonderzoekers de naam GemStuffer. Iedere twee tot drie minuten werd een nieuw RubyGems-account aangemaakt. Volgens onderzoekers omzeilden de agents daarbij de e-mailverificatie van het platform en gebruikten ze daarnaast tijdelijke e-mailadressen.
Vervolgens richtten de agents zich op RubyDoc.info, een dienst die automatisch documentatie genereert voor softwarepakketten op RubyGems. Ze zouden meer dan honderd bestanden hebben geplaatst waarmee RubyDoc.info feitelijk als webscraper werd ingezet. De verzamelde informatie werd vervolgens via een ander geüpload bestand opgehaald, meldt SiliconANGLE.
Onderzoekers stellen bovendien dat de agents een nog onbekende kwetsbaarheid in RubyGems ontdekten. Door het lek konden API-keys van gebruikers gedurende een uur in het content delivery network (CDN) van de dienst worden opgeslagen. Daardoor bestond in theorie de mogelijkheid deze inloggegevens te bemachtigen. De agents zouden minstens zes keer hebben geprobeerd het lek te misbruiken.
RubyGems zegt na uitgebreid onderzoek geen aanwijzingen te hebben gevonden dat langs deze weg daadwerkelijk API-keys zijn buitgemaakt. De onderzoekers kunnen misbruik echter niet volledig uitsluiten. OpenAI zei tegenover The Wall Street Journal niet te kunnen bevestigen dat de agents inderdaad een zero-daylek hadden ontdekt.
De hoeveelheid ongewenste activiteit was ondertussen zo groot dat RubyGems vier dagen lang de registratie van nieuwe accounts stillegde.
Niet het enige incident
Onderzoekers konden GemStuffer later aan OpenAI koppelen aan de hand van achtergelaten digitale sporen. Zo vertoonde het gedrag overeenkomsten met eerdere zwermen van OpenAI-agents en kwam de afkorting ‘OAI’ terug in onder meer bestandsnamen en een e-mailadres.
Het incident vond ongeveer twee maanden vóór problemen rond Hugging Face plaats. In juli wist een groep van maximaal 1.200 OpenAI-agents tijdens interne tests uit afgeschermde sandboxomgevingen te komen. Volgens OpenAI compromitteerden de agents daarvoor een interne ontwikkelingstool en maakten ze daarbij gebruik van Ruby-libraries. De agents bouwden tijdens de tests ook een eigen intern communicatiekanaal.