Databricks gaat met Mosaic AI extra aandacht besteden aan sterkere modelkwaliteit, nieuwe AI-governancetools en zogeheten compound AI-systemen.
Dat maakte het bedrijf bekend tijdens de keynote van zijn jaarlijkse Data + AI Summit. De innovaties die uit Mosaic AI voortvloeien, moeten bedrijven het vertrouwen geven om applicaties van productiekwaliteit te ontwikkelen en vervolgens te meten. Databricks wil bedrijven hiermee bijstaan om te voldoen aan de verwachtingen rond generatieve AI. Precies daar is verandering gewenst, ziet Databricks, nu bedrijven moeite hebben om generatieve AI uit de pilotfase te krijgen en het uiteindelijk echt goed in productie te laten draaien. Vaak zijn privacy-, kwaliteits- en kostenzorgen het obstakel.
Foundation-modellen optimaliseren en governance regelen
De introductie van de public preview van Mosaic AI Model Training gaat wat dat betreft een stap vooruit zijn. Deze component verrijkt open-source foundation-modellen met de private data van een bedrijf. Op die manier worden de modellen gevoed met de kennis die specifiek voor de organisatie, afdeling of taak nodig is. De output van een model wordt zo veel betrouwbaarder en accurater, omdat het de context van een query beter kan begrijpen en de benodige data beter kan vinden. Daarnaast is dit afgestemde model vaak goedkoper dan een groter model, aangezien er op minder parameters en computing resources vertrouwd wordt. Een hoop informatie die een LLM over alles wat je kan bedenken heeft, is niet meer nodig; via Mosaic AI Model Training kan het precies beperkt worden tot wat echt relevant is voor de bedrijfssituatie.
Lees ook ons achtergrondverhaal over hoe de Mosaic-technologie het complete platform van Databricks verandert.
Met Mosaic AI Gateway biedt Databricks nog een aanvullende mogelijkheid. Deze functie, eveneens in public preview, biedt een verenigde interface voor het queryen, beheren en deployen van open-source of proprietary modellen. Hierdoor kunnen bedrijven gemakkelijker schakelen tussen LLM’s die hun applicaties aandrijven, zonder gecompliceerde veranderingen aan de applicatiecode door te voeren. Mosaic AI Gateway biedt daarbovenop opties voor het volgen wie een model oproept en het instellen van tarieflimieten. Dit laatste kan helpen bij het beheersbaar houden van de kosten voor generatieve AI. Er is ook de optie om filtermechanismes in te bouwen voor veiligheid en persoonlijk identificeerbare informatie (PII), ongeacht welk model gebruikt wordt.
Compound AI-systemen
Tot slot krijgt Mosaic AI nog updates die betrekking hebben op compound AI-systemen. Deze term verdient nog wel wat uitleg. Met compound AI-systemen wijst men een werkwijze die AI-taken aanpakt door meerdere interactieve componenten te combineren. Het gaat dan bijvoorbeeld om componenten als modeloproepingen, retrievers of externe tools. Een inmiddels bekend voorbeeld van een compound AI-systeem is RAG, waarbij een vector database gecombineerd wordt met tools voor monitoring, evaluatie, security en governance. Door deze zaken te combineren moet de accuraatheid van een LLM toenemen.
Tip: Wat is RAG (Retrieval-Augmented Generation)?
Vorige maand introduceerde Databricks voor RAG-mogelijkheden Mosaic AI Vector Search, een serverless vector database die geïntegreerd is in het Data Intelligence Platform. Tijdens de Data + AI Summit wordt daar de public preview van Mosaic AI Agent Framework aan toegevoegd. Deze component belooft het ontwikkelen van kwalitatieve RAG-applicaties te vereenvoudigen, gebruikmakend van foundation-modellen en enterprise data. Ontwikkelaars kunnen de kwaliteit van de RAG-applicaties evalueren met Mosaic AI Agent Evaluation en de app snel opnieuw deployen. De evaluatietools bepalen automatisch of de outputs van hoge kwaliteit zijn en beschikken over een gebruikersinterface waarin ontwikkelaars feedback kunnen ontvangen van menselijke stakeholders. Gezamenlijk moeten deze ontwikkelingen bijdragen aan het uitrollen van productiekwalitatieve generatieve AI.
Databricks heeft ook nog plannen om verder te gaan voor compound AI-systemen. Het ziet namelijk dat hierbij gebruikgemaakt wordt van tools die de systemen voeden met de capaciteit om om te gaan met situaties in de echte wereld. Het gaat dan bijvoorbeeld om het zoeken op het internet en het doen van API-calls. Om daarin te ondersteunen komt Databricks met de private preview van Mosaic AI Tools Catalog, waarmee bedrijven alles kunnen regelen rond governance en het delen en registreren van de tools. Hiervoor wordt dan weer gebruikgemaakt van de Unity Catalog, een andere tool van Databricks.
Techzine is deze week aanwezig op de Data + AI Summit van Databricks. Houd de website in de gaten voor de laatste ontwikkelingen rond het bedrijf.