OpenAI maakt het voor ontwikkelaars makkelijker de ChatGPT- en Whisper AI-modellen in hun applicaties te integreren. Hiervoor zin onlangs twee betaalde API’s geïntroduceerd.
De eerste gepresenteerde API richt zich op ChatGPT. Tot nu toe was deze tool alleen toegankelijk via een grafische (web) interface, zodat de technologie nog niet in andere applicaties kon worden toegepast.
Inmiddels is het model verder geoptimaliseerd, zodat minder hardware nodig is voor het draaien van het model en toegangsfunctionaliteit in de backend. Dit heeft de kosten voor het draaien van het model sterk gereduceerd.
Door deze optimalisatie en kostenreductie is het gebruik van de nieuwe ChatGPT API, met de aanduiding gpt-3.5-turbo, daarom lager dan dat van de bestaande GPT 3.5-modellen. De kosten van deze API zijn 0,002 dollar per 1.000 tokens. ChatGPT is hiermee tot tien keer goedkoper dan de genoemde andere GPT 3.5-modellen.
Introductie van speciale servers
De onderliggende infrastructuur van de AI-tool draait op Microsoft Azure. Het betekent dat de deployments van meerdere gebruikers op dezelfde (gedeelde) hardware draaien. Voor gebruikers die nog intensiever met ChatGPT aan de slag willen of die voor andere oplossingen willen inzetten, introduceert OpenAI daarom ook nu ‘dedicated instances’ of speciale servers.
Hierbij betalen ontwikkelaars alleen voor de gebruikte tijd voor het alloceren van rekenkrachtinfrastructuur die voor het afhandelen van hun verzoeken is gereserveerd. Met dedicated instances krijgen zij daarnaast de volledige controle over de load van deze instances. Hogere loads verbetert de throughput van verzoeken, maar maakt de afhandeling van ieder verzoek wel trager.
Ook krijgen zij extra opties aan functionaliteit. Denk daarbij aan langere contextlimieten en de mogelijkheid het model snapshot te ‘pinnen’.
Gebruik dedicated instances
OpenAI geeft aan dat het gebruik van deze dedicated instances alleen zin heeft voor ontwikkelaars die meer dan 450 miljoen tokens per dag willen draaien. Bovendien zorgen de speciale instances voor een betere optimalisatie van de workloads van ontwikkelaars ten opzichte van hardware-prestaties. Dit levert een aanzienlijke kostenbesparing op in vergelijking met het gebruik van een gedeelde infrastructuur. Prijzen van deze dedicated instances kunnen bij OpenAI worden aangevraagd.
Alle gebruikers van de ChatGPT API, niet alleen die van de dedicated instances, kunnen verder profiteren van alle optimalisaties die aan het model worden doorgevoerd.
Ook Whisper krijgt API
Naast het ChatGPT-model, heeft ook het Whisper AI-model voor transcripties van de AI-specialist nu een betaalde API gekregen. Deze API geeft toegang tot een beheerde versie van dit AI-model.
Whisper werd in september vorig jaar als een open-sourcemodel geïntroduceerd. Bedrijven kunnen daardoor makkelijker het model binnen de eigen omgeving uitrollen, in plaats van een OpenAI API. Toch is het uitrollen van dit model een lastige technische zaak.
De transcriptietool zet automatisch audiobestanden om in geschreven tekst. Hierbij kunnen gebruikers kiezen tussen een transcriptie in de oorspronkelijke taal of en een Engelse versie. Het model is getraind op 680.000 uur aan op het internet beschikbare audiobestanden. Ongeveer een derde van deze bestanden waren niet in het Engels.
De API geeft nu on-demand toegang tot het (door OpenAI beheerde) v2-model van Whisper. De kosten voor deze toegang zijn 0,006 dollar per minuut. Bedrijven kunnen hierbij profiteren van betere prestaties van dit transcriptiemodel dan andere vergelijkbare diensten.
18 uur geleden
