Een update verandert Google Gemini in een preuts systeem en maakt apps voor trauma-overlevenden onbruikbaar.
De nieuwste update van Google’s Gemini-taalmodellen lijkt de configuratie-instellingen voor veiligheidsfilters onbruikbaar te hebben gemaakt. Hierdoor werken bepaalde toepassingen niet meer goed, met name die welke gevoelige onderwerpen behandelen zoals seksueel geweld. Dit heeft directe gevolgen voor apps die ondersteuning bieden aan slachtoffers van trauma’s.
Jack Darcy, een softwareontwikkelaar en beveiligingsonderzoeker uit Brisbane, Australië, merkte het probleem op nadat op dinsdag de Gemini 2.5 Pro Preview werd uitgebracht. Hij legde aan The Register uit dat hij aan een platform werkt waarmee slachtoffers van seksueel geweld hun ervaringen kunnen vastleggen en omzetten in gestructureerde rapporten voor juridische doeleinden. De technologie moest ook helpen om ervaringen op een veilige manier te uiten.
Sinds de update wordt dit soort inhoud echter automatisch geblokkeerd. Zelfs als ontwikkelaars via het instellingenpaneel expliciet hebben aangegeven dat de inhoud is toegestaan. Volgens Darcy weigert het model nu zelfs algemene ondersteuning rond mentale gezondheid, iets wat voorheen wel mogelijk was.
De Gemini API biedt normaliter instellingen waarmee ontwikkelaars de gevoeligheid van het model kunnen afstemmen op specifieke inhoudstypes. Denk aan expliciet materiaal, haatspraak of gevaarlijke handelingen. In toepassingen voor bijvoorbeeld zorg of journalistiek is het echter soms nodig om moeilijke thema’s juist wél te kunnen bespreken. Darcy geeft aan dat zijn apps — VOXHELIX, AUDIOHELIX en VIDEOHELIX — daar expliciet op zijn ingericht. Een van deze toepassingen verwerkt ongefilterde verslagen van incidenten tot zowel audiomateriaal als formele documenten.
Kwetsbare situaties
Darcy gaf aan dat zelfs met de veiligheidsinstellingen volledig vrijgegeven, het model nu standaard weigert om inhoud rond seksueel geweld te verwerken. Dit ondermijnt volgens hem het oorspronkelijke doel van zijn apps, die worden gebruikt door therapeuten, hulpverleners en Australische overheidsinstanties. Sinds de wijziging krijgt hij meldingen van gebruikers die vastlopen tijdens intakegesprekken met cliënten. Volgens hem is dit bijzonder schadelijk, omdat het gebruikers — vaak in kwetsbare situaties — midden in het delen van hun verhaal blokkeert.
Hij deelde ook dat een andere ontwikkelaar een app genaamd InnerPiece bouwde voor mensen met PTSS of een verleden van misbruik. Die app is eveneens onbruikbaar geworden, doordat gebruikers nu te horen krijgen dat hun ervaringen te expliciet zijn om te verwerken. Volgens Darcy raakt dit juist mensen die proberen hun verleden te verwerken en op zoek zijn naar erkenning.
Andere ontwikkelaars ondervinden ook problemen. Op het ontwikkelaarsforum Build With Google AI staat dat een eerder gebruikte versie van het model ongemerkt is vervangen door een nieuwe versie, wat grote verschillen in prestaties oplevert. Een ontwikkelaar schrijft dat hierdoor bestaande werkwijzen, prompts en evaluaties niet meer betrouwbaar zijn, omdat ze feitelijk een ander model gebruiken.
Oproep aan Google
Darcy roept Google op om de toestemmingsgerichte instellingen te herstellen, zodat apps zoals de zijne op een verantwoorde manier met gevoelige inhoud kunnen blijven werken. Volgens hem is het gebrek aan ondersteuning niet alleen een technisch probleem, maar een fundamentele breuk in vertrouwen richting mensen die op een kwetsbaar moment hulp zoeken. Google heeft bevestigd dat het zich bewust is van de melding, maar heeft nog geen uitleg gegeven over de aard of oorzaak van de wijziging.