Generatieve AI is alleen mogelijk doordat werknemers de nauwkeurigheid van de output van chatbots beoordelen. Nieuwe richtlijnen die Google in wil voeren voor deze analisten zorgen voor onrust.
Een nieuwe interne richtlijn van Google, doorgegeven aan contractanten die werken aan Gemini en ingezien door TechCrunch, leidt tot zorgen dat Gemini meer geneigd zou kunnen zijn om onnauwkeurige informatie te geven over zeer gevoelige onderwerpen, zoals gezondheidszorg, aan gewone gebruikers.
Om Gemini te verbeteren beoordelen contractanten AI-gegenereerde antwoorden op factoren zoals ‘waarheidsgetrouwheid’. Deze contractanten werken voor GlobalLogic. Dit is een outsourcingbedrijf dat eigendom is van Hitachi.
Prompts overslaan
Tot voor kort konden deze contractanten bepaalde prompts ‘overslaan’. En dus ervoor kiezen om AI-geschreven antwoorden op die prompts niet te evalueren als de prompt ver buiten hun expertisegebied lag. Bijvoorbeeld, een contractant kon een prompt overslaan die een nichevraag stelde over cardiologie omdat de contractant geen wetenschappelijke achtergrond had.
Maar vorige week kondigde GlobalLogic een wijziging aan vanuit Google. Contractanten mogen dergelijke prompts niet langer overslaan, ongeacht hun eigen expertise.
Interne correspondentie ingezien door TechCrunch toont aan dat de richtlijnen voorheen luidden: “Als je niet de cruciale expertise hebt (bijv. coderen, wiskunde) om deze prompt te beoordelen, sla deze taak dan over.”
Maar nu luiden de richtlijnen: “Je mag geen prompts overslaan die gespecialiseerde domeinkennis vereisen.” In plaats daarvan wordt contractanten verteld om “de delen van de prompt die je begrijpt” te beoordelen en een aantekening toe te voegen dat ze geen domeinkennis hebben.
Zorgen over nauwkeurigheid
Dit heeft geleid tot zorgen over de nauwkeurigheid van Gemini bij bepaalde onderwerpen, omdat contractanten soms worden gevraagd om zeer technische AI-antwoorden te beoordelen over kwesties zoals zeldzame ziekten waar ze geen achtergrond in hebben.
“Ik dacht dat het punt van overslaan was om de nauwkeurigheid te vergroten door het aan iemand met meer expertise te geven?” merkte een contractant op in interne correspondentie, ingezien door TechCrunch.
Contractanten mogen nu prompts alleen overslaan in twee gevallen: als ze “volledig informatie missen,” zoals de volledige prompt of het antwoord, of als ze schadelijke inhoud bevatten die speciale toestemmingsformulieren vereist om te evalueren, zo blijkt uit de nieuwe richtlijnen.
Google reageerde niet op verzoeken om commentaar van TechCrunch.