Zeven maanden lang konden aanvallers huishouden binnen de AI-infrastructuur van grote techbedrijven. Een exploitatie van kwetsbaarheid CVE-2023-48022 in het veel gebruikte open-source Ray-framework leidde tot gemanipuleerde modellen, gestolen hardware-cycli en gecompromitteerde gegevens. Ontwikkelaar Anyscale zegt echter dat er geen sprake is van een bug: de bescherming tegen “ShadowRay” ligt volgens de softwaremaker bij de bedrijven zelf.
Duizenden publieke Ray-servers zijn door de cyberaanvallen geraakt, meldt het onderzoeksteam van Oligo. Bedrijven die van dit framework gebruikmaken, worden aangeraden om hun IT-omgevingen uitvoerig te controleren op verdachte activiteiten. De getroffen partijen zijn zeer prominent: Oligo stipt aan dat onder andere Amazon, OpenAI, Uber, Spotify, Netflix en LinkedIn van Ray gebruikmaken.
Het Ray-framework geldt als de industriestandaard om AI- en Python-workloads op te kunnen schalen. Oligo omschrijft het als het “Zwitserse zakmes” voor Python-gebruikers en AI-ontwikkelaars. Aangezien fine-tuning en training van geavanceerde AI-modellen niet op één machine mogelijk is, gebruiken bedrijven Ray-clusters om de talloze benodigde berekeningen te verspreiden over meerdere apparaten. Voor deze toepassing heeft Ray veelal toegang tot gevoelige gegevens, die zich regelmatig in Amazon S3-buckets of binnen de eigen bedrijfsomgeving bevinden.
Tip: Een sterke data-infrastructuur is de ruggengraat van AI-implementatie
Anyscale noemt het geen kwetsbaarheid
CVE-2023-48022 is al langer bekend en heeft een CVSS-score van 9,8 uit 10 gekregen. Toch ziet Anyscale het niet als een kwetsbaarheid. Eind 2023 ontdekten security-onderzoekers vijf manieren waarop Ray te exploiteren is, maar in het geval van CVE-2023-48022 stelt Anyscale dat het een feature is en geen bug. De andere vier kwetsbaarheden zijn inmiddels gepatcht.
Omdat het framework niet om autorisatie vraagt, kunnen kwaadwillenden op afstand malafide code uitvoeren. Dat zou volgens Anyscale nooit moeten gebeuren omdat het niet de bedoeling is dat Ray zomaar vanuit het publieke internet te benaderen is. Echter waren er alsnog duizenden Ray-servers onbeschermd online, dus lang niet elke gebruiker van deze open-source oplossing volgde dit advies op. Het lijkt erop dat AI-ontwikkelaars zich simpelweg niet bewust waren van het gevaar. Het verklaart waarom Oligo deze kwetsbaarheid, die lang onder de radar bleef vliegen, ShadowRay heeft genoemd.
Lees ook: ‘Toenemend aantal geheimen lekken in openbare GitHub repositories’
Oligo stelt dat de exploitatiecampagne de eerste van zijn soort is. Nog niet eerder is AI-infrastructuur op deze manier vatbaar gebleken voor aanvallen. Omdat ShadowRay geen kwetsbaarheid zou zijn, pikken veel security-scans deze niet op. Pas nadat Oligo haar bevindingen deelde, bood Anyscale assistentie om open poorten te kunnen detecteren. De onderzoekers benadrukken dat AI-experts geen security-experts zijn, dus zij zullen zelf zelden doorhebben wat het gevaar is. Dit zou nog steeds het geval kunnen zijn: immers is een volledig gepatcht Ray-framework (2.10.0) nog altijd kwetsbaar voor ShadowRay zonder een veranderde configuratie.
IT-complexiteit strekt uit naar AI
De razendsnelle opkomst van AI drijft organisaties tot het verder uitbreiden van de eigen IT-omgeving. Die toename in complexiteit zorgt voor nieuwe potentiële gevaren, waarbij AI in het bijzonder snel tot nieuwe risico’s leidt. Wie niet zelf generatieve AI-workloads in een veilige omgeving toestaat, kan te maken krijgen met medewerkers die op onveilige wijze omgaan met bedrijfseigen informatie. Zo bleken gemeente-ambtenaren eind vorig jaar fervente ChatGPT-gebruikers te zijn, waardoor persoonlijke gegevens en andere geheim te houden informatie te grabbel werden gegooid.
AI-software met security-gevaren is niet uniek. Zo bleek Nvidia’s ChatRTX-chatbot vandaag vatbaar te zijn voor meerdere kritieke kwetsbaarheden, met eveneens remote code execution als potentieel gevolg. Echter is het Ray-framework een stuk minder niche dan die oplossing. Het vormt een fundamenteel onderdeel binnen de IT-omgevingen van prominente AI-ontwikkelteams. Het feit dat criminelen maandenlang ongezien data konden stelen en gegevens konden manipuleren, is zorgwekkend.
Toch is de exacte schade moeilijk te kwantificeren. Oligo tracht dit wel te doen door aan te geven dat aanvallers hardware-cycli konden stelen voor hun eigen doeleinden. Kwaadwillenden konden meerdere machines ter waarde van 858.480 dollar per jaar overnemen. Geraakte Ray-clusters zijn veelal ingezet voor cryptomining, hoewel de aanvallers wellicht ook andere doeleinden voor ogen hadden.
Duidelijke regels
We zijn niet helemaal overtuigd van de relevantie van de cijfers die Oligo gebruikt om de schade te duiden. Uiteindelijk is het belangrijker om te benadrukken dat de cybercriminelen maandenlang actief konden blijven en allerlei schade hebben kunnen aanrichten. Wat ze precies hebben bewerkstelligd, zou duidelijk moeten zijn uit de datalogs. Cryptomining vereist communicatie met een specifieke server, dus de signalen daarvoor zijn achteraf op te pikken.
Hoe dan ook laat het incident zien dat AI-workloads net zo sterk beschermd moeten worden als andere taken. Men hoeft enkel te kijken naar de gegevens die aanvallers via het Ray-framework kunnen buitmaken. Diefstal van credentials, wachtwoorden, private SSH-keys, tokens voor OpenAI- en HuggingFace-accounts en toegang tot KubernetesAPI kunnen allemaal voor grotere problemen en laterale beweging in een bedrijfsnetwerk zorgen.
Oligo raadt een aantal mitigatiestappen aan om een Ray-deployment te beveiligen. Allereerst moet Ray draaien in een veilige trusted-omgeving en moeten er firewall-regels en/of security groups toegang kunnen blokkeren. Daarnaast moet de Ray Dashboard-poort (standaard 8265) voorzien zijn van een autorisatielaag met een proxy naar de Ray-API. Verder zijn voortdurende security-scans en het volgen van andere best practices essentieel.
Lees ook: Aantal actief misbruikte zero-days meer dan 50 procent gestegen
16 uur geleden
