ChatGPT is een manusje-van-alles onder de chatbots. Echter is het niet aan te raden om die tool van OpenAI voor professioneel gebruik in te zetten. Daarvoor zijn de antwoorden van de chatbot veelal te vaag of simpelweg onjuist. Andere generatieve AI-oplossingen zijn daarin eenvoudiger te bezweren, maar voortaan is ook het GPT-3.5-model om te scholen voor talloze doeleinden.
OpenAI geeft aan dat ontwikkelaars en bedrijven al tijden vragen om een aanpasbare versie van GPT-3.5 Turbo, dat bekendstaat als de meest efficiënte LLM die het bedrijf huisvest. Een variant van GPT-3.5 draait de gratis versie van ChatGPT, terwijl de betaalde variant van een upgrade is voorzien met GPT-4. Al vaker is gebleken dat zelfs wat oudere, kleinere LLM’s alsnog verbluffende resultaten kunnen behalen met de juiste dataset.
Goed aan te sturen
GPT-3.5 Turbo is voortaan te trainen op bedrijfsdata, zoals eerder GPT-3 al beschikbaar was voor dezelfde toepassing. Door het model te voorzien van unieke gegevens kan het zich beter toespitsen op de specifieke wensen van het klantbedrijf. Toch ‘weet’ een GPT-3.5 Turbo-model al veel: het heeft net als ChatGPT al kennis van zaken tot september 2021.
GPT-3.5 Turbo zou volgens OpenAI op sommige manieren capabeler zijn dan GPT-4. Het kan imposante resultaten opleveren en de mogelijkheid om deze nog extra te verfijnen is aanlokkelijk. OpenAI belooft dat organisaties het model eenvoudig aan kunnen sturen. Zo haalt men aan dat het mogelijk is om het enkel in het Duits te laten antwoorden. Daarnaast kan er extra consistentie bereikt worden in hoe het tekst of programmeercode presenteert. Ook is te bepalen welke toon de chatbot aanslaat, zodat deze past bij de stijl van het bedrijf in kwestie.
Er is een verdubbeling van het aantal tokens naar 4.000: dit houdt in hoeveel tekstuele onderdelen een chatbot aankan. Dit kan gaan om een enkele letter, een gedeelte van een woord of een volledig woord. Hoewel er meer tokens mogelijk zijn, is het voor organisaties goedkoper om deze zoveel mogelijk te minimaliseren. Daarom biedt OpenAI nu ook de optie om een LLM vooraf te instrueren zodat er zo min mogelijk inhoud in de prompt nodig is. Zo weet de chatbot bijvoorbeeld altijd dat het moet antwoorden volgens de huisstijl van een bedrijf, waardoor dat niet elke keer weer gezegd hoeft te worden. Dit kan volgens OpenAI leiden tot prompts die tot 90 procent kleiner zijn dan voorheen. Later dit jaar zal er nog een GPT-3.5 Turbo-model komen met 16.000 tokens.
Eigen data, maar privacy?
OpenAI introduceerde eerder dit jaar al een aantal privacy-gerichte verbeteringen. Zo kunnen bedrijven al een tijdje aangeven dat hun data niet gebruikt mag worden voor het verder trainen van OpenAI-modellen. Toch blijft het zo dat GPT-modellen enkel aan te spreken zijn via een public cloud: bedrijfsgegevens verlaten dus wel de eigen bedrijfsomgeving, zij het dat ze niet zomaar op straat komen te liggen. VMware gaf deze week nog aan dat er zeker nadelen kleven aan deze aanpak: het is niet duidelijk waar het model al vooraf op getraind is, terwijl er alsnog aspecten blijven die niet aan te passen zijn als third-party.
Tip: VMware en Nvidia lanceren Private AI Foundation: AI-inzet met veilige data
Dan nog geldt OpenAI’s technologie als een zeer imposant voorbeeld van generatieve AI. Om die reden zullen bedrijven die wellicht niet al te veel zorgen maken over privacy enkel de effectiviteit en het prijsmodel overwegen. Wat dat betreft rekent OpenAI in dollars: GPT 3.5 kost 0,8 cent per 1000 tokens voor training en 1,2 cent per 1000 tokens voor inputs en outputs de chatbot.
Overigens zullen oudere GPT 3-modellen verdwijnen uit de bestaande service. Daaronder vallen bijvoorbeeld davinci-002 en babbage-002, die nog een aantal maanden in de lucht blijven. Dit laat wel een ander gevaar zien van public cloud-varianten van AI: wie een LLM wil bouwen en dat op eigen tempo een keer wil vervangen, zal toch uitkomen bij een model die men zelf in handen heeft.
Lees ook: GPT-4 modereert content sneller en beter dan beginnende moderators