OpenAI kondigt nieuwe functies aan voor zakelijke klanten, met de nadruk op verbeterde security en een uitbreiding van de Assistants API, een onderdeel dat klanten in staat stelt modellen te customizen en in te zetten voor eigen gebruik. Daarnaast zet het bedrijf flink in op kostenbeheersing.
De Assistants API maakte het al mogelijk voor bedrijven om aangepaste LLM’s te trainen door middel van Retrieval Augmented Generation (RAG) en daarmee bedrijfseigen informatie en interne datasets toe te voegen aan het repertoire. De API ondersteunt nu geavanceerdere mogelijkheden tot ‘file retrieval’, met een nieuwe ‘file_search’-functie die 10.000 bestanden per Assistant kan verwerken. Dat is vijfhonderd keer meer dan aanvankelijk mogelijk was: de oude API voorzag in slechts twintig bestanden per assistent.
Ook bevat de API nieuwe functionaliteit voor parallelle queries, re-ranking en query rewriting. Ofwel meerdere zoekopdrachten tegelijkertijd uitvoeren, de volgorde van resultaten kunnen aanpassen en zoekopdrachten herschrijven aan de hand van synoniemen, gerelateerde termen of spellingscorrecties. Dit alles om de resultaten zo relevant mogelijk te maken voor de gebruiker -die daardoor minder tijd kwijt is.
Real-time response streaming
Een andere nieuwe functie voor de Assistants API is de toevoeging van het veelgevraagde real-time response streaming, waardoor zowel GPT-4 Turbo als GPT-3.5 Turbo outputs kunnen retourneren met dezelfde snelheid als waarop tokens worden gegenereerd. Dat betekent dat het AI-model niet meer hoeft te wachten totdat een volledige respons is gegenereerd voordat het begint met antwoorden. Sneller resultaat dus. Verder krijgt de API een ‘vector_store’-object dat moet helpen met bestandsbeheer en een fijnmaziger controle over het gebruik van tokens om de kosten te beheersen.
Op het gebied van beveiliging gaat het bedrijf Private Link aanbieden, waarmee directe communicatie tussen Azure en OpenAI mogelijk is met minimale blootstelling aan het internet. Ook is native Multi-Factor Authentication (MFA) toegevoegd om te voldoen aan strengere toegangscontrole-eisen.
Grip op individuele projecten
Onder het mom ‘vertrouwen is goed, controle is beter’, kunnen systeembeheerders via de Projects-functie nu meer grip krijgen op individuele projecten. Zo kunnen ze rollen en API-sleutels specificeren per project, modelrestricties en andere gebruikersbeperkingen instellen. Ook hier is de insteek naast security het voorkomen van onverwachte kosten.
Meer kostenbesparende opties voor klanten zijn asynchrone workflows voor verzoeken die niet urgent zijn, dit loopt via de Batch API. Grootverbruikers mogen daarnaast kortingen tegemoet zien. Deze en andere nieuwe functionaliteiten heeft OpenAI gedeeld op zijn website. Deze updates zijn mede bedoeld als antwoord op de groeiende populariteit van open-source LLM’s als Llama 3 en Mistral AI. Deze modellen vormen steeds meer concurrentie.
Lees meer: CAST AI belooft kostenbesparing met AI Optimizer voor LLM’s