Deze week kondigde Datadog een nieuwe integratie aan met OpenAI. De samenwerking helpt met monitoren van API-gebruikspatronen, kosten en prestaties voor verschillende OpenAI-modellen, waaronder GPT-4 en andere large language models. Met de nieuwe oplossing kunnen organisaties de kosten en prestaties van hun AI-gebruik beter volgen.
Datadogs mogelijkheden voor observability “vereenvoudigen het proces van gegevensverzameling via tracing libraries, zodat klanten gemakkelijk en snel kunnen beginnen met het monitoren van hun OpenAI-gebruik”, beweerde het bedrijf.
Aaron Kaplan en Shri Subramanian, de Senior Product Manager van het bedrijf, hebben de nieuwe integratie in een blogpost nader toegelicht. “Het gebruik van de producten van OpenAI breidt zich snel uit”, schrijven ze. “Aangezien diverse teams en gebruikers experimenteren met en voortbouwen op de modellen van het bedrijf, is het belangrijk voor organisaties om dit gebruik te monitoren en te begrijpen.”
Gebruikskosten variëren op basis van de modellen die worden opgevraagd en zijn gebaseerd op het verbruik van “tokens”. Gebruikers verbruiken deze tokens afhankelijk van de totale doorvoer van prompts (tekstuele invoer) en completions (de bijbehorende uitvoer).
De OpenAI-integratie van Datadog wordt geleverd met een out-of-the-box dashboard dat managers helpt gebruikstrends in hun organisatie te begrijpen door API-verzoeken uit te splitsen naar OpenAI-model, service, organisatie-ID en API-key.
Unieke organisatie-ID’s kunnen worden toegewezen aan individuele teams, zodat beheerders kunnen volgen waar en in welke mate de modellen van OpenAI in hun organisatie worden gebruikt. Tracering via API-keys kan klanten helpen het gebruik uit te splitsen naar specifieke gebruikers, zodat ze pieken in gebruik en kosten kunnen toewijzen. Het stelt beheerders ook in staat om ongeautoriseerde API-toegang te herleiden tot specifieke sleutels en gebruikers.
API-kosten en -prestaties beheren
“Naast het bijhouden van gebruikspatronen is het belangrijk om de totale snelheid en het volume van uw OpenAI-gebruik bij te houden om ervoor te zorgen dat u de snelheidslimieten van de API, die gelden voor zowel verzoeken per minuut als tokengebruik per minuut, niet overschrijdt”, leggen Kaplan en Subramanian uit. De integratie van Datadog biedt aanbevolen monitors waarmee admins deze statistieken proactief kunnen bijhouden. Dit moet ook voorkomen dat ze te maken krijgen met rate-limit fouten of buitensporige latenties, zeggen ze.
Naast het bijhouden van interne gebruikspatronen en kosten, helpt de integratie van Datadog de prestaties van de OpenAI API te bewaken, vervolgt de post. “Verschillende metrieken volgen API-foutenpercentages en responstijden, en het out-of-the-box dashboard levert deze gegevens voor elk van de gebruikte modellen en de diensten en organisaties die ze gebruiken”, voegen ze eraan toe.
Lees ook: Datadog komt met Universal Service Monitoring voor applicatiemonitoring
1 dag geleden
