Nvidia komt met een open-source initiatief dat chatbots moet weerhouden van ‘hallucinaties’. Hiermee wordt verwezen naar de feitelijke onjuistheden van bijvoorbeeld ChatGPT. NeMo Guardrails moet het probleem verkleinen.
In een blogpost verschaft de GPU-gigant meer details. Nvidia spreekt hier over het ‘helpen’ van large language models, die geavanceerde chatbots aansturen. Organisaties in allerlei sectoren maken inmiddels gebruik van deze zogeheten ‘LLM conversational systems’. Nvidia heeft een aantal features ingebouwd in NeMo Guardrails om bedrijven te helpen om enige dwalingen van de chatbot te verhelpen.
Drie soorten
NeMo Guardrails bevat drie soorten ‘vangrails’: topical, safety en security. Allereerst kan de open-source software voorkomen dat applicaties ongewenste onderwerpen aansnijden. Het voorbeeld dat Nvidia geeft is dat een chatbot het over het weer gaat hebben terwijl het klantenservice dient te assisteren. Echter zijn er veel drastischere voorbeelden van dergelijk ongewenst gedrag. Zo was Microsoft Bing Chat aanvankelijk wel eens onbeschoft tegenover de gebruiker.
De tweede feature, safety, zal voor veel organisaties van groter belang zijn. Zo zijn medische toepassingen of adoptatie in de financiële sector een stuk reëler als de informatie accuraat is. Nvidia zegt dat zijn software enige fouten op kan sporen en ervoor zorgt dat de LLM alleen betrouwbare bronnen inzet. Security moet vervolgens voorkomen dat een LLM contact maakt met gevaarlijke applicaties van derden. Dit doet het door het whitelisten van ‘known-to-be-safe’ toepassingen.
Opties
Nvidia biedt NeMo Guardrails open-source aan, maar heeft ook een eigen AI Enterprise-software waarin de applicatie in te zetten is. Daarnaast is het beschikbaar als onderdeel van Nvidia AI Foundations, een cloudservice voor het ontwikkelen en draaien van eigen AI-modellen.
Nvidia zegt de ‘vangrails’ open-source te hebben gemaakt om bij te dragen aan de veiligheid van AI. Daarover is momenteel een hevig debat, waar prominente tech-figuren zich hard over hebben gemaakt. Zo stelt onder andere Elon Musk dat er een pauze van zes maanden moet zijn op de ontwikkeling van complexe large language models.
Tip: Generatieve AI: Hoe kan GPT-4 het bedrijfsleven veranderen?
11 uur geleden
Expert bijdrage
