Datadog brengt nieuwe features naar zijn monitoringsplatform, om LLM-modellen te monitoren die generatieve AI-applicaties voeden. Ook is de generatieve AI-assistent Bits gepresenteerd.
Volgens Datadog worden steeds meer applicaties ondersteund door (generatieve) AI- of LLM-modellen. Net als bij gewone applicaties wordt het daarom voor bedrijven steeds meer noodzakelijk de status en ‘gezondheid’ van deze modellen in de gaten te houden om een goede werking van de bovenliggende applicaties te garanderen.
Monitoringsfeatures LLM-modellen
Voor zijn applicatiemonitoringsplatform introduceert Datadog daarom nu een breed portfolio van generatieve AI observability-mogelijkheden die de status van LLM-modellen in de gaten moeten houden.
In de eerste plaats richten de features zich op het in de gaten houden van de hele AI-stack. Op het gebied van infrastructuur onder andere voor NVIDIA, CoreWeave, AWS, Azure en Goofle Cloud. Voor embeddings- en databeheer onder meer voor Weaviate, Pinecone en Airbyte. Voor het maken van AI-modellen worden Torchserve, VertexAI en Amazon Sagemaker, de modellagen van OpenAI en Azure OpenAI en ook het orkestratieframework LangChain in gaten gehouden.
Daarnaast introduceert Datadog in bèta ook een complete oplossing voor LLM-modellen. Met de oplossing worden onder meer de model catalog, de modelprestaties en de model drift bijgehouden.
AI-assistent Bits
Verder heeft Datadog ook in bèta de generatieve AI-assistent Bits gelanceerd. Bits helpt beheerders met het beter analyseren van hun observability-data uit het platform. De tool scant alle data uit het platform en andere bronnen, zoals de diverse binnen een bedrijf gebruikte collaboration-tools, en geeft op basis hiervan snelle antwoorden op vragen over de status van applicaties.
De tool levert ook aanbevelingen voor het oplossen van applicatieproblemen en kan hiervoor zelfs volledig geautomatiseerde oplossingen voor creëren.
Tip: Maximaliseer storage-prestaties met NVMe en software-defined storage
23 uur geleden
Expert bijdrage
