Elastic heeft met Elasticsearch een product in de markt gezet dat zoeken centraal stelt. Wat ooit begon als een nieuwe, snellere manier van zoeken is uitgegroeid tot een zeer schaalbare, krachtige en efficiënte manier van data inzichtelijk maken. Nu de wereld beweegt naar meer en meer AI, ruikt Elastic zijn kans om een grotere rol te pakken. Met het Elastic Search AI-platform laat Elastic zien dat een goede zoekmachine leidt tot betere AI-resultaten.
Elastic heeft de afgelopen jaren een forse groei doorgemaakt. Organisaties gebruikten Elastic al voor web, logs, applicatie en document search, maar in recente jaren is er een grote opmars richting het inzichtelijk en doorzoekbaar maken van securitydata. Onder meer voor betere observability, maar ook het verbeteren van de totale cybersecurity. Als we Elastic mogen geloven stopt het succes daar niet. Elastic voorspelt dat het succes van menig AI-strategie straks afhankelijk is van goede search.
Groei van Elastic door overnames en open source
De afgelopen jaren zagen we Elasticsearch een groeispurt maken. Dit is mede te danken aan de open source-community, die ook de nodige bijdrages levert aan alle projecten van Elastic. De belangrijkste onderdelen van Elastic zijn vooralsnog de ELK-stack; Elasticsearch, Logstash en Kibana. Kibana is voor veel gebruikers de oplossing die het meest tot de verbeelding spreekt, want daarmee kan je data die in Elasticsearch is geïndexeerd eenvoudig inzichtelijk maken met dashboards, grafieken en diagrammen. Je kan echter ook analyses doen op je deployments, zones en indexes. Op die manier kan je zien of je Elastic-omgeving ook goed presteert of dat je wellicht meer CPU, geheugen of nodes moet toevoegen. Kibana is een belangrijke toevoeging aan de Elastic ELK-stack die door vrijwel alle Elastic-klanten wordt gebruikt.
Logstash is een ander belangrijk onderdeel, daarmee is het mogelijk om eenvoudig logs te indexeren en te verrijken van allerlei toepassingen. Het gebruik hiervan is de afgelopen jaren fors toegenomen, zeker met het oog op betere observability en hogere eisen aan de algehele cybersecurity.
Daarnaast zijn er ook nog andere modules, bijvoorbeeld voor machine learning. Dit is een speciale op maat ontwikkelde node die is geoptimaliseerd om machine learning-taken zo efficiënt mogelijk uit te voeren. Daarbij is de Elasticsearch-database de voedingsbodem voor het trainen van het machine learning-model. Voorheen voerde Elastic ook een aparte Search-module die voortkwam uit een overname van Swiftype door Elastic. Swiftype stond vooral bekend om zijn SaaS-oplossing voor sitesearch en workplace search. Website-eigenaren konden hiermee eenvoudig hun website doorzoekbaar maken en met workplace search werd veel bedrijfsdata in SaaS-omgevingen doorzoekbaar. De technologie van Swiftype is inmiddels geïntegreerd in de stack van Elastic, waardoor deze functionaliteit in de core beschikbaar is gekomen. Organisaties kunnen de functionaliteit die voorheen in Swiftype zat nu combineren met data in Elastic. De Enterprise Search-module zal daardoor op termijn komen te vervallen.
Elastic dankt veel aan open source en geeft ook terug aan open source
De afgelopen jaren is er wat ophef geweest over Elastic zijn licentie. Die was eerst open source (Apache 2.0), het bedrijf koos toen na een discussie met Amazon Web Services om over te stappen op een ander, minder open, licentiemodel. Elastic was van mening dat AWS te veel profiteerde van de ontwikkelingen en de naam van Elastic en daarvoor weinig terugdeed. Inmiddels is die discussie voorbij en zijn Elastic en AWS weer vriendjes. Ook is Elastic weer beschikbaar gekomen onder de AGPL-licentie.
Dat is maar goed ook, want Elastic heeft veel te danken aan de open source-community. Het geeft overigens ook veel terug aan de open source-wereld, maar het bevestigt ook dat ze er echt in thuis horen. Elastic verdient zijn geld met het bieden van een hosted Elastic-omgeving die het managed aanbiedt vanuit één van de drie grote hyperscalers.
Elastic biedt sinds kort ook een serverless variant van zijn hosted omgeving, waarmee klanten volledig ontzorgd worden. Klanten hoeven dan helemaal niet na te denken over Elastic versies, patches, nodes en configuraties. Deze serverless variant is ook extreem schaalbaar. Daardoor is de variant zeer geschikt voor AI-workloads.
Organisaties kunnen niet zonder search in hun AI-strategie
Sinds de introductie van ChatGPT is AI in een stroomversnelling gekomen. Organisaties willen op (korte) termijn hun voordeel gaan doen door de inzet van AI en generatieve AI. Inmiddels is na duizenden experimenten met grote LLM’s wel duidelijk dat dit niet vanzelf gaat. Een belangrijk onderdeel om AI goed in te zetten in bedrijfsomgevingen is door RAG toe te passen en uiteraard prompt engineering.
Wat je met RAG eigenlijk doet is tegen een LLM zeggen: “gebruik deze data om je antwoord mee te genereren”. De data die middels RAG wordt aangeleverd moet dus bestaan uit de meest kwalitatieve feitelijke bedrijfsdata die er is.
RAG
Organisaties experimenteren met RAG en koppelen allerlei databases met bedrijfsdata aan modellen in de hoop betere AI-gebruikstoepassingen te realiseren. Sommige dingen klinken logisch maar gaan toch vaak mis. Alle personeelsdata (HR) via RAG aan een AI-model overhandigen is bijvoorbeeld niet verstandig. Tenzij je gebruikmaakt van role based access, je wilt niet dat alle ’werknemers vertrouwelijke HR-dossiers kunnen inzien, het salaris van collega’s en de CEO, of andere gevoelige informatie.
Of wat te denken van organisaties die via RAG de complete product database met honderdduizenden of miljoenen producten aanleveren. Hierdoor moet het AI-model door gigantische hoeveelheden aan overbodige data ploegen, zeker wanneer het model iets moet genereren voor één specifiek product. Dat zorgt voor forse vertragingen maar ook veel hogere kosten. Hoe zwaarder de taak voor een AI-model, hoe hoger de kosten.
RAG via het Search AI-platform
Bij Elastic zijn ze positief over RAG, maar niet over hoe organisaties het nu toepassen. Het massaal aanleveren van data via RAG werkt niet efficiënt en zorgt voor complexiteit. Iedereen weet inmiddels dat de data van hoge kwaliteit moet zijn, maar dat geldt net zo goed voor de relevantie. Ook gebruikersrechten moeten niet uit het oog verloren worden. Het compliance- en governance-vraagstuk is zeker in Europa minstens zo belangrijk. Toch zien en horen we vaak over experimenten waar dit soort zaken worden genegeerd. Om een AI goed te gebruiken zijn er duidelijke regels nodig, zogenaamde guard rails waarin een AI-model mag opereren.
Elastic stelt dat zij nog een andere oplossing hebben, namelijk een manier om een AI-model efficiënter te voeden met hoogwaardige relevante data. Elastic heeft hiervoor het Search AI-platform ontwikkeld. Wat Elastic doet is niet alle data aanleveren via RAG, maar deze doorzoekbaar maken via Elasticsearch. Op die manier wordt bij elke AI-opdracht of scenario eerst een zoekopdracht gedaan via Elasticsearch. De relevante output wordt vervolgens via RAG aan het AI-model geleverd.
Elastic kan door eerst te zoeken een geoptimaliseerde dataset aanleveren via RAG
Elastic kan via RAG data aanleveren die beknopt, relevant en waar nodig beperkt is tot de gebruikersrechten. Dit simpelweg door search toe te passen. Het is nog steeds hoogwaardige bedrijfsdata, maar de eerste uitsluitingen zijn al gebeurd. Op basis van gebruikersrechten wordt enkel data waar de gebruiker toegang toe heeft aangeleverd. Ook is de dataset geoptimaliseerd en efficiënter want het AI-model wordt niet langer voorzien van honderdduizenden irrelevante documenten. Hierdoor kan het sneller tot een output komen en tegen lagere kosten.
Search als waardevolle toevoeging in je AI-strategie
Elastic maakt een goede case om search toe te voegen aan je AI-strategie. Enkel vanuit een kostenperspectief is het al zinvol, maar ook governance of zelfs de privacy van klantdata kunnen hiermee gewaarborgd worden. Met het Search AI-platform heeft Elastic een goede stap gezet.
Het levert bij sommige lezers misschien ook direct hoofdbrekens op. Hoe ga je de benodigde bedrijfsdata in Elastic krijgen? Dat is eenvoudiger dan je wellicht denkt, want Elastic heeft het workplace search-onderdeel van Swiftype nu in de core van zijn stack zitten. Daaronder vallen ook de nodige Connectors die door Elastic worden beheerd. Daarmee kan je eenvoudig databronnen in de cloud verbinden met Elastic. Denk bijvoorbeeld aan Box, Confluence, Dropbox, Salesforce, ServiceNow, Sharepoint, Slack, Microsoft SQL Server, Microsoft Teams, MySQl, Oracle en Zoom. Ook kan je als organisaties eenvoudig je eigen connector bouwen en daarmee data importeren in Elastic.
Interne organisatie brede zoekmachine
Elastic biedt met het Search AI-platform niet enkel een zoekfunctie om AI-modellen te verrijken. Het biedt ook een interne zoekmachine voor medewerkers door alle bedrijfsdata. Ook hier komt AI weer in terug, want door een connector te gebruiken kan je hier ook een LLM aan koppelen. Daarmee kunnen medewerkers dan ook vragen stellen, waarmee het AI-model een antwoord genereert op basis van de beschikbare bedrijfsdata. Belangrijk hierbij is ook de document level security (DLS). Organisaties moeten toegang tot data op een gebruikersniveau goed kunnen beheren.
Het Elastic Search AI-platform is daarmee onderscheidend in de markt en biedt een oplossing waar veel andere partijen nog niet aan gedacht hebben. Al zijn organisatie-brede zoekmachines niet nieuw. Wij vermoeden dan ook dat het Elastic Search AI-platform bij grote organisaties eerder een onderdeel van de totale AI-stack zal worden. Waarbij de search wordt ingezet zoals eerder beschreven, om tot een betere RAG-dataset te komen. De applicatielogica voor het AI-scenario, de zoekopdracht en de interactie met de LLM liggen dan elders.
Is Elastic het missende puzzelstukje in de AI-strategie?
Elastic kan zeker bepaalde problemen gaan oplossen in de AI-strategie van organisaties. Of het voor iedereen geschikt is en of er betere alternatieven zijn, is op dit moment lastig te zeggen. De ontwikkelingen rondom AI gaan zo snel. Wat we vandaag schrijven is soms de volgende dag alweer achterhaald.
Wat we wel met zekerheid kunnen zeggen is dat het hebben van een krachtige interne zoekmachine binnen een organisatie steeds belangrijker wordt. Veel verschillende SaaS-platformen zetten daar nu stevig op in, want die hopen op die manier alle bedrijfsdata te mogen centraliseren. Zodat zij leidend worden in de AI-strategie van menig organisatie.
De vraag is of je dat als organisatie moet willen, of je in zo’n geval niet beter voor Elastic kan kiezen. Dan weet je in elk geval zeker dat je de bedrijfsdata bij een speler onderbrengt die specialist is in zoeken. De data centraal opslaan is één ding, het goed doorzoekbaar maken is een tweede. Dat moet je bij een online platform waarbij de expertise elders ligt nog maar zien. Met de basis connectoren van Elastic kan je al veel bedrijfscommunicatie en bedrijfsdata doorzoekbaar maken met behoud van gebruikersrechten. Zeker als je ook kijkt naar de investeringen die Elastic heeft gedaan in semantisch zoeken. Dan durven we wel aan dat een zoekopdracht binnen Elastic meer gaat bieden dan een willekeurig ander platform.
De volgende stap kan zijn om die Elastic Search in te zetten voor een AI-scenario via het Search AI-platform. Waarbij Elastic dus data via RAG koppelt aan een AI-model. Organisaties die ook beschikken over veel ongestructureerde data en ook vector search nodig hebben, zijn bij Elastic ook aan het goede adres. De afgelopen jaren heeft Elastic grote stappen gezet op het gebied van vector search. Iets wat voor ongestructureerde data essentieel is. Dat is echter een op zichzelf staand verhaal dat we mogelijk in de toekomst gaan uitdiepen.
Al met al heeft Elastic met zijn Search AI-platform een essentieel onderdeel in de markt gezet voor de AI-strategie van menig organisatie. Het laat zien dat de kracht van zoeken kan leiden tot betere AI-resultaten.