Om AI zoveel mogelijk te benutten, moeten bedrijven hun eigen data inzetten. Het maakt LLM’s accurater en daardoor nuttiger. Maar hoe zorg je daarvoor? DataStax en Nvidia willen daarbij helpen.
DataStax biedt Astra DB als een NoSQL-database. Deze soort databases zijn gericht op grote volumes aan gegevens en lage latency, zaken die passen bij AI-workloads. Echter is het (her)trainen van AI op nieuwe data tijdrovend. Om die reden grijpt DataStax naar RAG: Retrieval-Augmented Generation. Met deze techniek zijn nieuwe databronnen direct aan te sluiten op AI-modellen. Daarbovenop vermindert RAG het aantal hallucinaties van een LLM, oftewel het genereren van foutieve informatie.
Tip: Wat is RAG (Retrieval-Augmented Generation)?
Nvidia-samenwerking
Astra DB biedt al vector embeddings, maar DataStax verbetert de inzetbaarheid hiervan. Deze “AI-multitool”, zoals Google vector embeddings noemt, biedt de mogelijkheid om data te converteren tot datapunten. Deze zijn vervolgens sneller te verwerken door AI-modellen. Met behulp van RAG kunnen deze databases gelden als continu geüpdatete informatiebanken die voor AI-workloads inzetbaar zijn.
Lees ook: De wisselwerking tussen vector databases en AI: LLM’s fine-tunen op een hoger niveau
DataStax maakt voor het sneller genereren van RAG vector embeddings gebruik van Nvidia’s nieuwste aanbod. Laatstgenoemde heeft deze week nieuwe microservices aangeboden om te verbinden met inferencing- en retrieval-diensten. Het eindresultaat levert een twintigvoudige versnelling op voor het aantal embeddings per seconde. Databases kunnen daardoor veel sneller worden vernieuwd.
Nvidia kan 800 embeddings per seconde per GPU genereren, terwijl DataStax’ Astra DB meer dan 4.000 transacties per seconde ondersteund. De latency van deze processen ligt lager dan 10 milliseconden, belooft DataStax.
Goedkoper
Ten opzichte van andere cloudgebaseerde embedding-diensten claimt DataStax een prijsreductie van 80 procent voor klanten. Volgens Nvidia’s VP of AI Software Kari Briski past dit bij de wens om veel meer ongestructureerde data aan GenAI-applicaties te koppelen. “Door de integratie van Nvidia’s NIM en NeMo Retriever-microservices te gebruiken met DataStax’ Astra DB, kunnen bedrijven hun latency significant vertragen en de volle kracht van AI-gedreven data-oplossingen benutten.”
19 uur geleden
Expert bijdrage
