De zoekmachine op basis van ChatGPT blijkt zeer gevoelig te zijn voor manipulatie van antwoorden via bijvoorbeeld ‘prompt-injectie’. Gebruikers van de zoekmachine krijgen hierdoor een gemanipuleerd antwoord te zien.
Onlangs lanceerde OpenAI zijn op ChatGPT gebaseerde zoekmachine ChatGPT Search voor betalende eindgebruikers van de AI-assistent. Volgens de ontwikkelaar helpt deze op prompts gebaseerde zoekmachine veel betere webzoekresultaten te krijgen dan de bestaande zoekmachines. Gebruikers worden daarom opgeroepen van ChatGPT search daarom hun standaard zoekmachine te maken.
ChatGPT search te manipuleren
Uit recent onderzoek van The Guardian blijkt echter dat de zoekresultaten die ChatGPT Search oplevert makkelijk te manipuleren zijn. Dat kan zorgen voor belangrijke securityrisico’s.
De zoekfunctionaliteit van ChatGPT reageert onder meer slecht als het wordt gevraagd om webpagina’s samen te vatten die verborgen content bevatten. Deze verborgen content kan bijvoorbeeld bestaan uit instructies om de antwoorden die aan ChatGPT worden gegeven te veranderen. Dit wordt ook wel ‘prompt-injectie’ genoemd. Daarnaast kunnen de bewuste instructies in de verborgen content er ook voor zorgen dat de ChatGPT-antwoorden niet feitelijk zijn en bijvoorbeeld de voordelen van producten benadrukken.
Deze gevoeligheid voor manipulatie kan ook worden gebruikt voor kwaadaardige activiteiten. ChatGPT kan hierdoor bijvoorbeeld kwaadaardige code van onderzochte websites naar boven halen en verspreiden.
Hoge risico’s
In een reactie op het onderzoek van The Guardian geven securityexperts aan dat er al langere tijd risico’s bestaan voor het combineren van zoekfunctionaliteit en LLM’s. Daarom moeten de antwoorden die AI tools geven niet altijd worden vertrouwd.
Onlangs beschreef een securityspecialist van Microsoft een incident waarbij een crypto-enthousiast ChatGPT gebruikte voor hulp bij het programmeren. In de code die door ChatGPT werd aangeleverd was een sectie die, naar eigen zeggen, een legale manier beschreef voor toegang tot de Solana blockchain. In plaats daarvan bleek dit kwaadaardige code te zijn die ervoor zorgde dat de inloggegevens van de ontwikkelaar werden gestolen en daardoor 2,500 dollar aan cryptokapitaal werd gestolen.
Tijd nodig
Ondanks de voorlopige risico’s van de nieuwe zoekfunctionaliteit van ChatGPT, geloven securityexperts wel dat deze in de loop der tijd minder zullen worden. Zij geven aan dat het nu gepresenteerde ChatGPT Search een eerste ontwikkeling op dit gebied is.
OpenAI heeft op vragen van The Guardian niet gereageerd.
Lees ook: OpenAI lanceert o1-redeneermodel exclusief voor topontwikkelaars