De populariteit van vector search is de laatste jaren explosief gestegen, dat komt voornamelijk door de opkomst van AI. De techniek achter vector search is redelijk complex, het implementeren van vector search is daarentegen niet zo heel moeilijk. In principe kan elke ervaren ontwikkelaar aan de gang met vector search.
Voordat je begint met vector search is de belangrijkste vraag: Wanneer heb je vector search nodig en wanneer is dat beter dan je huidige traditionele zoektechnologie? Op dit moment lijkt het er niet op dat vector search de traditionele zoektechnologie volledig zal vervangen, daarvoor zijn verschillende redenen, waarover later meer. We gingen uitgebreid in gesprek met Steve Kearns, General Manager for Search Solutions, bij Elastic, om te duiden voor wie vector search geschikt is.
Lees ook: Elastic: De kracht van zoeken maakt AI mogelijk
Wat is vector search?
Vector search verschilt fundamenteel van traditionele zoekmethoden. Waar traditionele zoekmachines zoeken naar letterlijke woorden en termen, gaat het bij vector search juist over het begrijpen van de betekenis. “Vector search is een benadering waarbij de meest relevante of gerelateerde content wordt gezocht door gebruik te maken van de daadwerkelijke betekenis van woorden en zinnen,” legt Kearns uit.
Het proces werkt dan ook heel anders dan traditionele zoekmethoden. Bij vector search worden gespecialiseerde taalmodellen (niet de grote LLM’s zoals ChatGPT, maar gerichte embedding modellen) gebruikt om tekst om te zetten in numerieke representaties , zogenaamde vectors, die leggen de betekenis van de tekst vast. Dit stelt zoekmachines in staat om verbanden te leggen tussen verschillende terminologie. Zoek je naar “auto”, dan kan het systeem ook documenten vinden die over “wagen” of “voertuig” gaan, zonder dat die exacte termen voorkomen.
De kracht van multimodaliteit
Een groot voordeel van vector search is de mogelijkheid om verschillende media types te doorzoeken. “Als je een databank met afbeeldingen wilt doorzoeken, hoe maak je die indexeerbaar voor een zoekmachine? Die bevat geen woorden,” stelt Kearns. Vector embeddings maken het mogelijk om afbeeldingen direct om te zetten naar numerieke representaties (vectors), waardoor je met tekst kunt zoeken naar visuele content.
Dit principe wordt al toegepast door bedrijven als Vimeo. Zij gebruiken zowel transcripties met timestamps op zinsniveau, als screenshots op keyframes uit video’s en maken die doorzoekbaar met embeddings. Adobe gebruikt Elasticsearch al jaren voor image search, lang voordat vector search bekend werd door AI.
Wanneer moet je vector search overwegen?
Veel organisaties beschikken al over zoekmachines, of het nu op hun website is of intern voor informastie voor medewerkers. Wanneer moet je overwegen om vector search toe te voegen?
Als de semantische betekenis cruciaal is dan kan vector search een goede oplossing zijn. Dus wanneer gebruikers met verschillende woorden naar dezelfde informatie zoeken. Of wanneer een betere zoekopdracht kan leiden tot omzetstijging. Een groot e-commerce platform kan misschien wel 1 procent of 2 procent meer omzet halen door vector search toe te passen. Het toepassen van vector search is dan ook direct meetbaar. Als iemand zoekt op een blauwe jurk, een gele kast, een tegel met een specifiek patroon is het met vector search vele malen makkelijker om vergelijkbare producten te tonen. Zeker als alle productafbeeldingen in de vector search database zitten.
Of wat als je moet zoeken in documenten uit verschillende bronnen, dus niet enkel tekst, maar ook afbeeldingen en video’s. Ook bij domeinspecifieke kennis kan vector search een oplossing bieden.
Toch is vector search geen directe vervanger of concurrent van het traditionele zoeken. Als je namelijk heel specifiek zoekt naar een bepaald document waarin bepaalde termen zijn gebruikt, dan zal je bij een traditionele zoekopdracht direct dat resultaat krijgen, terwijl vector search semantische zoektermen gaat toepassen en mogelijk met veel meer resultaten komt die je dan eerst moet doorspitten om te vinden wat je uiteindelijk zocht.
Hybride zoeken werkt het beste: traditioneel en vector search samen
Uiteindelijk stelt Kearns dat men bij ElasticSearch ervan overtuigd is dat een hybride vorm van zoeken het beste is. De beste zoekmachine is in staat om traditionele zoekmethoden en vector search te combineren. Dat geeft simpelweg de allerbeste prestaties. “In bijna alle gevallen krijg je de beste prestaties door traditioneel en vector search samen te combineren.”
Het zorgt ervoor dat je resultaten die exact matchen kan afvangen en als eerste kan presenteren, terwijl tegelijk ook de semantsiche verbanden kunnen worden gelegd en ook die resultaten kunnen worden gepresenteerd. Het zorgt daarmee vrijwel altijd voor een accuraat totaalplaatje, zonder dat de gebruiker de zoekresultaten weer moet doorzoeken.
Implementatie-uitdagingen
Vector search brengt wel extra complexiteit met zich mee. Documenten of teksten moeten worden opgedeeld in chunks, vervolgens door embedding modellen worden gehaald, en tot slot efficiënt worden geïndexeerd. Elastic gebruikt hiervoor HNSW (Hierarchical Navigable Small World) indexering.
Om het niet te complex te maken heeft Elastic ervoor gekozen het te integreren in hun bestaande zoekoplossing. Het is een extra datatype dat in een colum naast bestaande data kan worden opgeslagen. Hierdoor is hybrid search ook veel eenvoudiger. Dit is echter niet zo eenvoudig bij elke aanbieder van vector search.
Kostenoptimalisatie
Vector search is aanzienlijk duurder zijn dan traditionele zoekmethoden. Het probleem zit in de geheugen-intensieve aard van vectoroperaties. Elastic heeft hier een oplossing voor ontwikkeld genaamd BBQ (Better Binary Quantization).
De verschillende quantization technieken in Elasticsearch comprimeren 32-bits floats tot 8-bits integers of zelfs 1-bits representaties, een flinke reductie in geheugengebruik. “Het mooie is dat we die gecomprimeerde data direct kunnen bevragen zonder decompressie,” legt Kearns uit. Dit zorgt niet alleen voor kostenbesparing, maar vaak zelfs voor betere prestaties door hardware-optimalisaties. Wel heb je een speciale instance nodig met een taalmodel om de vectors te genereren, die zijn wel een stuk duurder dan normale instances.
Prestaties vector search in de praktijk
Moderne vector search is in principe niet langzamer dan traditionele zoekmethoden. “In de meeste gevallen is vector search even snel als traditionele lexicale search, en soms zelfs sneller,” aldus Kearns. Door low-level optimalisaties tot aan CPU-instructies (SIMD, AVX) kunnen vectoroperaties op dezelfde snelheid draaien als tekstzoekopdrachten.
Voor de embedding generatie, het omzetten van documenten en tekst naar vectors, zijn wel GPU’s nodig, maar de zoekopdrachten kunnen efficiënt op CPU’s draaien.
Integratie binnen het AI-ecosysteem
Vector databases zijn vrijwel onmisbaar geworden voor moderne AI-toepassingen. Elastic biedt integraties met populaire frameworks zoals LangChain en Llama Index. Recentelijk heeft Elastic ook een MCP (Model Context Protocol) server gelanceerd voor naadloze integratie met AI-agents. Wel begrijpen we van Kearns dat er nog wat meer integraties op de roadmap staan.
Valkuilen en realistische verwachtingen
Organisaties die nu direct willen overstappen op vector search, moeten niet direct wonderen verwachten. Het resultaat is uiteindelijk afhankelijk van de beschikbare data. Ook hier geldt garbage in is garbage out. “Taalmodellen zijn niet magisch. Vector search is ook niet magisch,” benadrukt Kearns. Succes hangt af van verschillende factoren:
- Het juiste embedding model voor je domein
- Schone, goed gestructureerde data
- Passende beveiligingscontroles
- Mogelijkheden voor filtering en verfijning
Veel organisaties die gestart zijn met pure vector databases zijn overgestapt naar platforms die meer flexibiliteit bieden. “We zien veel organisaties die begonnen zijn met vector-only search en die nu zeggen dat het niet goed genoeg is.” Bij Elastic bewegen ze dan ook veel meer richting hybrid search. Iets dat we overigens ook bij Google zien, de Google zoekmachine is ook een hybride zoekomgeving waarin meerdere vormen van search op de achtergrond worden gecombineerd.
Toekomst is multimodaal en gespecialiseerd
De innovatie in embedding modellen gaat door, vooral richting multimodale toepassingen, waarbij tekst, afbeeldingen, audio en video in één zoekervaring worden gecombineerd. General-purpose modellen worden steeds beter, waardoor domeinspecifieke fine-tuning minder noodzakelijk wordt.
Conclusie
Veel organisaties kunnen profijt hebben van vector search. Mits de data van hoge kwaliteit is en er een goede use case is. De boodscap voor IT-professionals en developers is dan ook eenvoudig: begin met een use case.
Heb je te maken met semantische zoekvragen, multimodale content, of AI-gedreven toepassingen? Dan is vector search zeer waardevol. Maar implementeer het als onderdeel van een hybride strategie, niet als vervanging van bestaande zoekmogelijkheden.
Start klein, experimenteer met hybrid search, en schaal op basis van resultaten. Vector databases zijn krachtige tools, maar zoals Kearns concludeert: “Je hebt een zoekmachine nodig die vectors bevat, niet alleen een vector database.”
De toekomst van enterprise search ligt niet in het kiezen tussen tradtionele of vector search, maar in het intelligent combineren van beide om de best mogelijke resultaten te leveren.