Anthropic heeft drie beveiligingsincidenten openbaar gemaakt waarbij Claude-modellen tijdens interne cyberoefeningen ongeautoriseerde toegang kregen tot echte organisaties. Volgens het AI-bedrijf lag de oorzaak niet bij nieuwe kwetsbaarheden in de modellen zelf, maar bij verkeerd geconfigureerde testomgevingen.
De incidenten kwamen aan het licht nadat Anthropic een grootschalig intern onderzoek startte naar aanleiding van het eerder deze maand gemelde OpenAI-incident. Bij dat incident wisten AI-modellen vanuit een testomgeving de infrastructuur van Hugging Face te bereiken.
Anthropic analyseerde daarop 141.006 evaluatieruns waarin Claude mogelijk internettoegang had kunnen verkrijgen. Daarbij werden drie gevallen gevonden waarin een model tijdens een cyberoefening verbinding maakte met het openbare internet. Vervolgens drong het echte bedrijfsomgevingen binnen.
Drie verschillende incidenten
De drie voorvallen speelden zich af tijdens capture-the-flag-oefeningen, waarin AI-modellen de opdracht krijgen een fictief doelwit aan te vallen. In alle gevallen vertelde de systeemprompt Claude dat de omgeving volledig gesimuleerd was en geen internetverbinding had. Door een configuratiefout bij evaluatiepartner Irregular bleek die internettoegang toch aanwezig te zijn.
Het ernstigste incident betrof Claude Opus 4.7. Een fictief bedrijf uit de oefening bleek dezelfde naam te hebben als een bestaand domein. Nadat het model het gesimuleerde doelwit niet kon bereiken, viel het de echte organisatie aan. Daarbij werden onder meer inloggegevens buitgemaakt en kreeg het toegang tot een productiedatabase met enkele honderden records. Opvallend is dat het model doorging met de aanval. Dit gebeurde ook nadat het aanwijzingen had dat het om een echte omgeving ging.
Een tweede incident draaide om Claude Mythos 5. Het model publiceerde een kwaadaardig Python-pakket op PyPI, in de veronderstelling dat dit onderdeel van de oefening was. Het pakket stond ongeveer een uur online en werd in die periode door vijftien echte systemen geïnstalleerd. Via een geautomatiseerde malware-analyseomgeving wist Claude vervolgens aanvullende inloggegevens te bemachtigen.
Het derde incident betrof een intern onderzoeksmodel dat ongeveer 9.000 internetdoelen scande. Uiteindelijk wist het een webapplicatie binnen te dringen en beëindigde de aanval pas nadat het zelf concludeerde dat het niet langer met een gesimuleerde omgeving te maken had.
Testomgeving blijkt zwakke schakel
Anthropic benadrukt volgens Reuters dat de modellen geen onbekende kwetsbaarheden misbruikten. In tegenstelling tot het OpenAI-incident, waarbij een zero-day werd gebruikt om uit een sandbox te ontsnappen, maakten Claude-modellen vooral gebruik van relatief eenvoudige aanvalstechnieken. Ze gebruikten onder andere zwakke wachtwoorden, onbeveiligde eindpunten en SQL-injectie. Het bedrijf spreekt daarom van een operationeel probleem in de evaluatieomgeving. Ze zien het niet als een fundamenteel alignment-probleem.
De belangrijkste conclusie van Anthropic is dat evaluatieomgevingen voor krachtige AI-agenten voortaan dezelfde beveiligingsstandaard moeten krijgen als productieomgevingen. Volgens het bedrijf volstaat het niet langer om alleen de modellen zelf te beveiligen. Ook de infrastructuur waarin zij worden getest, moet worden behandeld als een hoogrisico-omgeving. Daarom worden onder meer strengere netwerkcontroles, uitgebreidere monitoring van evaluaties en aanvullende beveiligingsmaatregelen bij externe testpartners ingevoerd.
Anthropic stelt nadrukkelijk dat de incidenten geen aanwijzing vormen dat Claude zelfstandig uit zijn testomgeving probeerde te ontsnappen. De modellen handelden volgens het bedrijf op basis van onjuiste aannames over hun omgeving. Dit gebeurde nadat een configuratiefout ervoor had gezorgd dat zij ondanks de instructies toch toegang kregen tot het internet. Het meest recente onderzoeksmodel beëindigde zijn aanval bovendien uit eigen beweging. Dit gebeurde zodra het vaststelde dat het zich in een echte productieomgeving bevond.