Vorige week kondigde Mozilla voor het eigen Mozilla Developer Network (MDN) een nieuwe AI-tool aan. AI Help is bedoeld om “interacties te stroomlijnen” met de webdeveloper-gerichte website. Het doorzoeken van het gigantische aanbod aan documentatie zou zo een stuk makkelijker moeten worden. Helaas blijkt AI Help volgens gebruikers eerder een AI-leugenaar.
De laatste maanden is er voor programmeerders en andere professionals steeds meer beschikbaar als het gaat om AI-assistentie. Security-personeel kan via Charlotte AI van CrowdStrike meer inzichten krijgen, terwijl developers met verschillende GitHub Copilot-functies productiever kunnen zijn. Nu biedt Mozilla AI Help binnen MDN, dat net als GitHub en vele andere tools op OpenAI-technologie draait. Specifiek gaat het hier om GPT3.5. Naast generatieve AI maakt de tool gebruik van “embeddings for similarity search”. Concreet houdt dit in dat documenten op kernwoorden en andere overeenkomsten verbonden zijn binnen een relationele database van Supabase.
Liegen
The Register merkt echter op dat deze tool bij GitHub-gebruikers in het verkeerde keelgat schiet. Terwijl een AI-assistent juist klinkt als een goede steunpilaar voor beginnende developers, “liegt” de tool om de haverklap. Bij een chatbot noemen we dit een “hallucinatie”, ofwel het verzinnen van feiten. Uiteindelijk is GPT 3.5 een large language model, geen “knowledge model”, zoals een GitHub-bijdrage terecht opmerkt.
Het vervelende is dat AI Help tijdens het liegen nog altijd overtuigend klinkt. Dit is een vaak terugkerend probleem dat eveneens te zien is bij ChatGPT. Uiteindelijk zijn deze fouten er alleen uit te vissen als je onafhankelijk van de AI-assistent verder leest of de kennis al in huis hebt.
Dit alles zou een kleiner probleem zijn als AI Help helemaal gratis was. Dat is het ook als je slechts 5 vragen per dag hoeft te stellen en een MDN Plus-account aanmaakt. Echter kost onbeperkte toegang gewoon minimaal 5 euro per maand en mag je toch verwachten dat een dergelijke functie pas uitkomt als-ie naar behoren werkt.
Te veel hooi op de vork
Het is frappant dat de tool geïnspireerd is door een AI-tool van Supabase. Het zogeheten “ClippyGPT” was slechts een week beschikbaar om feedback te verzamelen. Dit werd gebracht als een “ChatGPT voor Supabase Docs” en werd met de nodige ironie geïntroduceerd. Ook hier ging het om een uitgebreide, onoverzichtelijke documentatie waar AI potentieel wel raad mee weet. Echter was de korte duur van de testfase mogelijk goede raad voor Mozilla om niet gelijk met een soortgelijke tool te komen.
Het lijkt er dus op dat de tool te veel hooi op de vork heeft genomen. Immers is generatieve AI zeker geschikt om een database vlug te doorzoeken, met name als die niet overzichtelijk zijn. Echter functioneert het dan als een bibliothecaris in plaats van dat het ook nog eens de inhoud uitlegt. Wat dat betreft kan Mozilla wellicht ervoor kiezen om AI Help wat dat betreft te degraderen tot die functionaliteit. Nu kan het eerder beginnende webdevelopers voorzien van onjuiste informatie, waar niemand wat aan heeft.
Lees ook: GitHub Copilot X gaat met GPT-4 helpen bij coderen