Confluent, een bedrijf dat zich bezighoudt met datastreamingplatforms, organiseert deze week zijn jaarlijkse conferentie voor gebruikers en partners in New Orleans. Het was misschien logisch om aan te nemen dat Confuent Current 2025 zich niet alleen zou richten op de toepassing van datastreaming en realtime informatieverwerking en -analyse. De centrale missie van dit jaar is gericht op de manier waarop alle vormen van voorspellende, generatieve en agentic AI nu realtime datafeeds nodig hebben om op basis van contextuele data te kunnen handelen.
Jay Kraps, medeoprichter en CEO van Confluent, hield een welkomsttoespraak met de titel ‘Building Intelligent Systems on Real-time Data’. Met als missie om te valideren waarom hij suggereert dat “datastreaming alomtegenwoordig wordt” in alle bedrijfstakken, wil Kreps dat gebruikers nadenken over het toepassen van een shift-left-benadering van databeheer. In de praktijk betekent dat links verschoven (d.w.z. vroege) acties om te verwerken en te beheren bij de bron, en vervolgens overal te hergebruiken.
Gezien de alomtegenwoordigheid en impact van AI en de toepasbaarheid ervan in elke branche, was het misschien geen verrassing dat Confluent-CEO Kreps zich concentreerde op de vraag waar realtime data de automatiseringsintelligentie in de toekomst naartoe zal leiden. Over de voortgang van streaming zegt Kreps dat we “AI moeten verbinden met de softwareomgevingen” die we vandaag de dag binnen organisaties gebruiken en beheren.
“Als we ons tien jaar geleden misschien nog concentreerden op het verzamelen van data in een data lakehouse en ons zorgen maakten over rapportage en analyse, betekent echt datagestuurd ondernemen vandaag de dag dat we in staat zijn om namens klanten en gebruikers actie te ondernemen. Uiteindelijk zijn AI-systemen een heel andere wereld… Hoewel het gemakkelijk is om ChatGPT (of andere AI-engines) enkele eenvoudige vragen te stellen, is het veel moeilijker om echt functionele producten en diensten te bouwen op basis van deze diensten. Met een fantastisch gecompliceerde bedrijfslogica om te navigeren, moeten we niet vergeten dat AI de basis vormt voor probabilistische systemen die misschien wel 90% nauwkeurigheid bieden”, aldus Kreps.
Een nieuwe koningmaker voor bedrijven
Hij definieert dit op percentages gebaseerde onderscheid omdat bedrijfssoftware voorheen kon worden uitgevoerd met een ‘slaagpercentage’ van 100% in termen van efficiëntie van de uitvoeringsfunctionaliteit. Met andere (eenvoudigere) woorden: traditionele bedrijfssoftware kan deterministische logica uitvoeren om ervoor te zorgen dat 1 + 1 altijd 2 is. In die traditionele softwaresystemen is bedrijfslogica koning… in AI-systemen is de context van de gebruikte data koning. Tegenwoordig kunnen we systemen bouwen op basis van niet-deterministische logica die probabilistische AI-resultaten opleveren die ervoor zorgen dat 1 + 1 gelijk is aan 2, hoewel het in 10% van de gevallen gelijk kan zijn aan 1,9 of 2,2, enzovoort.
Bij het bouwen van AI wordt het gebruikte model bepaald door een relatief klein aantal bedrijven (Anthropic, Google, ChatGPT enz.), maar de contextdata die we gebruiken om die engines te voeden, zijn verspreid over een groot aantal plaatsen binnen een bedrijf en over alle verbindingspunten (met machines, API’s, andere applicaties en andere gebruikers), waardoor het moeilijk kan zijn om te bepalen waar de waarde van enterprise AI vandaag de dag ligt.
“Veel van de data die we nodig hebben voor moderne bedrijfsfuncties zijn verborgen achter slechte API’s en modellen kunnen niet intuïtief weten hoe ze de juiste informatie moeten gebruiken om problemen te omzeilen. Het bouwen van een nieuwe ‘afgeleide’ dataset (via context engineering) betekent dat je in staat bent om datavastlegging, dataverwerking en query’s te combineren in de volledige datapijplijn waarmee een bedrijf werkt”, aldus Kreps.
Waar past batchverwerking dan in dit wilde nieuwe terrein?
Confluent zegt dat het in staat is om op een zeer flexibele manier met batchdata te werken. Batchdataverzameling en batchdataverwerking (in een data lakehouse en warehouse) kunnen binnen ongeveer vier uur in een systeem terechtkomen, maar vaak gebeurt dit ’s nachts. Het heeft nog steeds een datacontextwaarde voor AI, maar het is historisch en niet actueel.
Hoe steek je de weg over met AI
“Als je een gevaarlijke straat zou moeten oversteken en alle informatie die je had was een foto van waar de auto’s gisteren waren, zou je natuurlijk behoorlijk nerveus zijn om de stoep af te stappen”, aldus Kreps, die een voorbeeld geeft van waarom we gestreamde realtime informatie in context nodig hebben als we op het moment zelf beslissingen moeten nemen in kritieke omgevingen.
Hoe kunnen we batches en streaming dan verenigen? Confluent doet dit met Tableflow, een technologie die streams verenigt als open tabelformaten in object storage. Dit betekent dat een organisatie historische data kan verwerken en vervolgens ook met streamingdata kan werken. Apache Flink maakt streaming vervolgens tot “een veralgemening van batches” om de werking van de dataketen te voltooien. Er zijn nog steeds uitdagingen, bijvoorbeeld dat een mismatch in datamodellen systemen uit balans kan brengen, maar de inspanningen van Confluent om een nieuwe wereld van agentic AI-services met realtime data te verbinden en mogelijk te maken, zijn duidelijk zichtbaar.
Sinds de introductie heeft Tableflow de manier veranderd waarop organisaties streamingdata klaar maken voor analyse. Het elimineert kwetsbare ETL-taken en handmatige Lakehouse-integraties die teams vertragen. Met Delta Lake- en Unity Catalog-integraties die nu algemeen beschikbaar zijn en Tableflow-ondersteuning voor OneLake, breidt Confluent zijn multicloud-voetafdruk uit. Deze updates bieden een uniforme oplossing die realtime en analytische data koppelt aan bedrijfsgovernance. Het is nu eenvoudiger om realtime AI en analyses te bouwen die bedrijven een voorsprong op hun concurrenten geven.
“Klanten willen meer doen met hun realtime data, maar de wrijving tussen streaming en analytics heeft hen altijd vertraagd”, aldus Shaun Clowes, Chief Product Officer bij Confluent. “Met Tableflow dichten we die kloof en maken we het gemakkelijk om Kafka rechtstreeks te verbinden met beheerde lakehouses. Dat betekent dat hoogwaardige data direct na het aanmaken klaar is voor analytics en AI.”
Streaming agents: governance op bedrijfsniveau
Kreps ging verder in op het werk van het bedrijf op het gebied van streaming agents en legde de nieuwe ontwikkelingen van zijn bedrijf op het gebied van Streaming Agents uit, die het gemakkelijker maken om event-driven artificial intelligence (AI) agents te bouwen en te schalen. Met de nieuwe Agent Definition kunnen teams met een paar regels code productieklare agents creëren. Ingebouwde observability en debugging geven teams het vertrouwen om snel van projecten naar real-world use cases over te stappen met replayability, testability en safe recovery. De Real-Time Context Engine van Confluent biedt nieuwe context met governance op bedrijfsniveau, zodat organisaties betrouwbare AI-agents sneller op de markt kunnen brengen.
AI-agents maken de schaalbare toepassing van generatieve AI mogelijk, maar veel organisaties worden geconfronteerd met uitdagingen op het gebied van governance en datacomplexiteit. Het koppelen van data is moeilijk, storingen zijn lastig op te lossen en kwetsbare monolieten zijn niet schaalbaar. Voor organisaties staat er nog meer op het spel. Zij hebben systemen nodig die in realtime kunnen reageren, maar de meeste AI kan vandaag de dag niet zonder menselijke tussenkomst reageren op kritieke gebeurtenissen.
Streaming Agents combineert de sterke punten van Apache Flink op het gebied van streamverwerking – schaalbaarheid, lage latentie en fouttolerantie – met agentmogelijkheden zoals grote taalmodellen (LLM’s), tools, geheugen en orkestratie. Omdat Streaming Agents rechtstreeks in gebeurtenisstromen leeft, monitort het de toestand van een bedrijf met de meest recente realtime data. Dit levert enterprise AI-agents op die in realtime kunnen observeren, beslissen en handelen, zonder dat er verschillende systemen aan elkaar gekoppeld hoeven te worden. Streaming Agents brengt dataverwerking en AI samen op één plek, zodat teams eindelijk AI-agents kunnen lanceren die altijd actief zijn en direct kunnen handelen.
Mensen (en AI) hebben aanwijzingen nodig
“Tegenwoordig kunnen de meeste AI-systemen voor bedrijven niet automatisch reageren op belangrijke gebeurtenissen in een bedrijf zonder dat iemand hen eerst een prompt geeft”, aldus Sean Falconer, hoofd AI bij Confluent. “Dit leidt tot omzetverlies, ontevreden klanten of extra risico’s wanneer een betaling mislukt of een netwerk niet goed functioneert. Streaming Agents brengt realtime data en agentredeneringen samen, zodat teams snel AI-agents kunnen lanceren die in realtime observeren en handelen met de meest recente en nauwkeurige data.”
Nu we weer terug bij af zijn, hoe zit het dan met het goede oude machine learning? Kreps zegt dat het waar is dat oudere ML-modellen niet de breedte van moderne agentic diensten hebben. Maar, merkt hij op, ze zijn erg snel en ook goedkoop in gebruik. Zou er vandaag de dag dan toch plaats zijn voor deze technologie? Ja, merkt hij op, bij het opsporen van afwijkingen en fraude in gedragsanalyses werkt dit nog steeds goed. Daarom heeft Confluent het opsporen en voorspellen van afwijkingen ingebouwd in zijn bredere platformaanbod onder de vlag van het product Confluent Intelligence.
Fireside chat: Anthropic applied AI lead
De keynote van dit evenement ging over in een fireside chat tussen Sean Falconer, senior director of product management bij Confluent, en Rachel Lo, hoofd toegepaste AI bij Anthropic. Over waar we nu staan met AI zei Lo dat we van het chatbot-tijdperk naar het begin van dit jaar zijn gegaan, toen het nog allemaal om vrij lineair gebruik ging.
“We kijken nu naar waar we AI in workflows kunnen integreren, zodat teams binnen een organisatie expansiever kunnen zijn, aangezien AI zelf op functionele, geproduceerde manieren in verschillende bedrijfstakken werkt”, aldus Lo. “Het besef dat meerlaagse agentic architecturen nu ons doel zijn, gaat niet alleen over context engineering, maar ook over organisaties die nadenken over waar databronnen echt cruciaal zijn voor hun bedrijf en hoe agentic diensten kunnen worden opgebouwd. Hoe intelligent een model een IT-team ook bouwt, het is de databasis die echt het cruciale onderdeel van deze discussie vormt.”
Lo zegt dat de meest geavanceerde klanten van zijn bedrijf zich bewust zijn van de patronen en nuances die bestaan in data buiten gestructureerde databronnen. Omdat zoveel ongestructureerde data (die vaak realtime is) zo waardevol is voor bedrijven wanneer deze in context wordt gebruikt, beseffen de slimste bedrijven hoe belangrijk het is om een meerlaagse agentic architectuur te omarmen, nu AI zich steeds meer richt op operationele use cases in de echte wereld.
Confluent: Real-Time Context Engine
Als we kijken naar andere onderdelen van het ‘nieuwsrooster’ van Confluent Connect van dit jaar, zien we dat het bedrijf zijn Real-Time Context Engine heeft aangekondigd. Dit is een volledig beheerde service die gebruikmaakt van Model Context Protocol (MCP) en is ontworpen om realtime, gestructureerde data en nauwkeurige, relevante context te leveren aan elke AI-agent, copilot of LLM-aangedreven applicatie. Open standaarden als MCP hebben het gemakkelijker gemaakt om bedrijfsdata te koppelen aan AI-agents en -toepassingen, maar ze lossen slechts een deel van het probleem op. De data die het blootlegt, blijven vaak ruw, gefragmenteerd en inconsistent, terwijl batchverwerkingspijplijnen voor data lakes extra complexiteit en vertraging met zich meebrengen.
Het resultaat, zo stelt Confluent, is AI die reageert op het verleden zonder begrip van het heden. Wat nodig is, is een architectuur die beide verenigt, continu nauwkeurige, betrouwbare context verwerkt en levert, zodat AI betrouwbare en geloofwaardige beslissingen kan nemen.
“AI is slechts zo goed als zijn context”, aldus Falconer van Confluent. “Bedrijven beschikken over de data, maar deze zijn vaak verouderd, gefragmenteerd of opgesloten in formaten die AI niet effectief kan gebruiken. Real-Time Context Engine lost dit op door dataverwerking, herverwerking en levering te verenigen, waardoor continue datastromen worden omgezet in live context voor slimmere, snellere en betrouwbaardere AI-beslissingen.”
Amorfe mogelijkheden voor toekomstige AI
De sprekers tijdens deze conferentie zijn het over één ding eens: het gesprek over AI is aan het veranderen. We praten niet meer over prototypes, we praten niet meer over lineaire deterministische use cases van AI… en we gaan verder met praten over waar meerlaagse agentic architecturen kunnen werken met realtime data in context om het gebruik van ongestructureerde data te ondersteunen, vaak voor veel meer niet-deterministische queries en use cases.
Omdat organisaties tegenwoordig te maken hebben met amorfe problemen met veel variabelen en veel datastromen, hebben ze realtime data in context nodig om agentic workflows te ondersteunen die productieve AI-diensten leveren die daadwerkelijk bedrijven veranderen… en misschien zelfs het leven van echte mensen.
