Databricks introduceert verschillende tools om organisaties te helpen bij het opschalen en implementeren van AI-agents. De nieuwe functionaliteit moet organisaties in staat stellen om AI-agents in te zetten voor bedrijfskritische toepassingen met de juiste governance en nauwkeurigheid.
De uitbreiding van Mosaic AI Gateway maakt het mogelijk om zowel open source als commerciële AI-modellen centraal te beheren. Hiermee kunnen bedrijven hun eigen LLM-endpoints toevoegen en behouden ze volledige controle over hun specifieke mogelijkheden, terwijl ze gebruikmaken van het Databricks-platform.
Met de nieuwe Genie Conversation API-suite kunnen ontwikkelaars chatbots op basis van natuurlijke taal integreren in eigen applicaties of populaire tools zoals Microsoft Teams en Slack. Gebruikers kunnen hiermee prompts uitvoeren en krijgen vervolgens de inzichten op basis van data zoals gebruikelijk in de Genie UI. Het is ook mogelijk vervolgvragen te stellen.
Verbeteren van agent-evaluatie
Databricks komt verder met updates voor de Agent Evaluation Review App om feedback van domeinexperts te stroomlijnen. De tool maakt het mogelijk om gestructureerde feedback te verzamelen en de prestaties van AI-agents systematisch te verbeteren.
Voor organisaties die AI-agents willen opschalen, introduceert Databricks ondersteuning voor batch-inferentie met AI Functions. Dit vermindert de infrastructurele complexiteit. Gebruikers kunnen via een enkele SQL-query batch-inferentie uitvoeren, zonder infrastructuur te hoeven inrichten.