Data engineering speelt een grote rol in het AI-tijdperk. Toch blijft het een lastige discipline door hoge personeelstekorten en verwachtingen. Efficiëntie en automatisering worden daarom steeds belangrijker. Met agentic AI is er een nieuwe wind gaan waaien in de techwereld om bepaalde taken uit te voeren. Snowflake ziet dan ook kansen om via Cortex Agents een nieuwe stap te zetten.
Cortex is in zo’n anderhalf jaar uitgegroeid tot een van de belangrijkste troeven van Snowflake. Destijds verscheen het als een beheerde dienst waarmee bedrijven gemakkelijker AI-applicaties kunnen bouwen en data kunnen analyseren. Cortex biedt hiervoor de mogelijkheid om large language models (LLM’s), taak-specifieke modellen en vector search toe te voegen aan software. Nu komt daar een reeks mogelijkheden bij door agents een grotere rol te laten spelen binnen de Snowflake AI Data Cloud.
De agents beloven in het kort complexe datataken te vereenvoudigen en de productiviteit te verhogen. Dat geldt voor data engineers, maar ook voor medewerkers binnen andere afdelingen. “Ze zullen de productiviteit van veel teams verbeteren, zoals customer support-analyses en engineering, en ze zullen voor werknemers tijd vrijmaken om zich te richten op zaken met een hogere waarde”, aldus Snowflake-Head of AI Baris Gultekin. Maar wat doet het concreet, en hoe kunnen bedrijven er hun voordeel mee doen?
Tip: Snowflake verlaagt de drempel van AI-appontwikkeling
Wat is het?
Gultekin omschrijft de nieuwe mogelijkheden als als een gespecialiseerde vorm van AI-agents genaamd data agents. Agents kunnen zelfstandig, dus zonder menselijke tussenkomst, een vaste lijst taken uitvoeren. Snowflake gebruikt dat voor het automatiseren van een reeks taken rondom het verkrijgen van accurate inzichten, door de juiste databronnen te selecteren. De data agents handelen dan ook processen af voor het ophalen en analyseren van data, terwijl ze binnen de regels en configuraties blijven voor het verbinden met de enterprise data.
De nieuwe agents maken gebruik van twee kerncomponenten: Cortex Analyst voor gestructureerde data en Cortex Search voor ongestructureerde data. Cortex Analyst zet natuurlijke taal om in SQL-queries, voert ze uit en zet ze om in reacties. Dit met een nauwkeurigheid van meer dan 90 procent, stelt Snowflake op basis van interne benchmarks. Het kan ook overweg met complexe multi-table omgevingen. Aan de andere kant zorgt Cortex Search ervoor dat data uit tekst, audio, video en beelden doorzocht kan worden. Dit gebeurt via vector- en lexical (keyword) search, met daarbovenop semantische herschikking. Hierdoor is snel hoogwaardige data op te halen.
De vier kerntaken
Door op bovenstaande technologie te vertrouwen, kan Snowflake met Cortex Agents vier kerntaken van een dataworkflow uitvoeren. Daaronder valt planning. Normaliter wordt vaak gewisseld tussen applicaties voor het verwerken van data uit gestructureerde en ongestructureerde bronnen. Via Cortex Agents is het mogelijk te integreren met iedere applicatie, door te vertrouwen op een REST API. Stel dat een business user eerst vraagt naar topdistributeurs op basis van omzet (gestructureerde data) en daarna naar een contract (ongestructureerde data). Cortex Agents kan dat verzoek aan en een plan opstellen. Er zijn dan verschillende scenario’s mogelijk: explore-opties, het opsplitsen in subtaken en het selecteren van een tool.
Als het plan er is, kan de data agent data ophalen. Hier komt de wisselwerking van Cortex Search en Cortex Analyst van pas door overweg te kunnen met beide soorten data. Snowflake werkt hiervoor samen met een groot aantal tools, zodat de juiste enterprise data gebruikt wordt.
De volgende stap omschrijft zich het best als de reflectiefase. Na het gebruiken van een tool evalueert de agent de resultaten om de volgende stappen te bepalen. Denk aan het vragen naar opheldering of het genereren van een laatste reactie. De orkestratie maakt het mogelijk complexe datacommando’s af te handelen, terwijl de compliance-richtlijnen gevolgd blijven.
Tot slot is er de monitoringsfase. De gebruiker kan statistieken meten, prestaties analyseren en het gedrag aanpassen op weg naar verdere verbetering. Applicatieontwikkelaars kunnen in deze fase de TruLens-tool gebruiken voor het monitoren van de interactie van de agent. Snowflake verwacht dat het voortdurend monitoren en verfijnen van controle ertoe leidt dat het vertrouwen in de data agents toeneemt. Bedrijven kunnen dan met vertrouwen de mogelijkheden verder opschalen.
Speciale rol voor Claude 3.5 Sonnet
Snowflake vertrouwt bij de introductie van de agents dus veel op bestaande Cortex-opties, maar komt hier en daar ook met nieuwe Cortex-functies. Een belangrijk onderdeel dat we echter niet onbesproken kunnen laten, zit hem in de samenwerking met Anthropic. Het Claude 3.5 Sonnet-model van het bedrijf draait binnen het Snowflake-platform voor reasoning, coderen en het uitvoeren van complexe workflows. Claude 3.5 Sonnet drijft nu Cortex Analyst aan en kan gebruikt worden in Cortex Agents. Door ondersteund te worden door Claude 3.5 Sonnet moet Cortex Agents de AI-taken preciezer kunnen plannen, orkestreren, reflecteren en monitoren. De multimodal-optie van Anthropic maakt het mogelijk inzichten te halen uit meer ongestructureerde data, waaronder afbeeldingen. Alle interacties gebeuren binnen de AI Data Cloud, verzekert Snowflake.
Anthropic Chief Product Officer Mike Krieger stelt dat deze vernieuwde samenwerking voortkomt uit een gedeelde visie op veilige en verantwoorde AI-implementatie. “Voor de enterprise organisaties waarmee zowel wij als Snowflake spreken, is het hebben van een model met de juiste waarborgen, dat moeilijk te omzeilen is en verantwoord is getraind, een netto pluspunt”, aldus Krieger.
Cortex Agents is nu beschikbaar als public preview.