OpenAI heeft de API voor zijn GPT-modellen vernieuwd. Door de verbeteringen worden nieuwe functionaliteiten beschikbaar gesteld, gaan de kosten omlaag en onthouden chatbots veel langere gesprekken.
Iedereen in de techwereld zal lang en breed bekend zijn met OpenAI’s paradepaardje ChatGPT, maar voor het verdienmodel van de AI-reus is het doorverkopen van API-toegang cruciaal. Large language models (LLM’s) op basis van bijvoorbeeld GPT-3.5-turbo en GPT-4 kunnen voor allerlei doeleinden worden ingeschakeld, van Copilots in Windows en GitHub tot virtuele assistenten in Salesforce-producten.
Grote context window, meer toepassingen
Vooropgesteld biedt de API-update een grotere context window voor langere gesprekken. Het betekent dat de chatbot meer informatie tot zich kan nemen en daarop een antwoord kan genereren. Een chat-invoer kan nu 16.000 tekens bevatten, tegenover de 4.000 van voorheen. Vanuit OpenAI hebben we nog niet eerder een aanbod gezien dat zoveel tekens accepteert, hoewel het intern een GPT-4-versie heeft met 32.000 tekens.
Concreet zal dit resulteren in meer toepassingen waar OpenAI-tech voor in te zetten is. Met 4.000 tekens kan een chatbot bijvoorbeeld goed overweg met een persbericht van een paar pagina’s, maar wordt het opsommen van langere teksten alleen mogelijk door ze in stukjes in te voeren. Het idee is dat je met 16.000 tekens, dat al gauw 8-10 pagina’s van een document kan beslaan, veel meer kunt samen laten vatten of transformeren. Net als bij andere generatieve AI-toepassingen is het afwachten welke innovaties erdoor mogelijk gaan worden.
Van tekst naar tools
Een echt nieuwe feature is function calling. Dit houdt in dat developers een chatbot in staat kunnen stellen om externe tools aan te spreken. Zo kan men nu ervoor zorgen dat een opdracht in normale taal wordt omgezet in een computerprompt richting een e-mailservice of een database. Dit kan voor veel dagelijkse doeleinden erg nuttig zijn, hoewel het voor de beste resultaten toch wat meer aansturing nodig heeft. Laat dat nou ook een innovatie van OpenAI zijn.
Er is namelijk voortaan meer “steerability” in de OpenAI LLM’s. Zo zou het beter moeten luisteren naar instructies zoals “je bent een verkoopassistent en je praat alleen over onze producten”.
Goedkoper
Ten slotte gaat OpenAI met de prijzen omlaag. GPT-3.5-turbo kost nu 25 procent minder dan voorheen, dat neerkomt op ongeveer 0,0015 dollar per 1000 input-tekens en 0,002 dollar per 1000 output-tekens. Ars Technica berekende dat dit neerkomt op 700 pagina’s per dollar.
18 uur geleden
Expert bijdrage
