De wereldwijde technologie-industrie ontwikkelt snel in de richting van generatieve AI (gen-AI). Er zijn echter duidelijke grenzen, controles en governance nodig. Nvidia en Snowflake willen dit bieden aan organisaties.
Een van de bedrijven die er duidelijk op gebrand is generatieve AI gedegen in de markt te zetten, is Nvidia. Het kan dit echter niet alleen. Vandaar dat het de samenwerking opzocht met Snowflake. De twee bedrijven gebruiken de Snowflake Summit 2023-conferentie in Las Vegas om uit te leggen waarom ze samenwerken. Ze willen bedrijven de mogelijkheid bieden om snel generatieve AI-toepassingen op maat te maken. Dit met behulp van hun eigen data, veilig binnen de Snowflake Data Cloud.
Op maat gemaakte LLM’s
Concreet betekent de samenwerking tussen Nvidia en Snowflake dat er integraties zijn en komen tussen Nvidia NeMo en de omgeving van Snowflake waar klanten hun data hebben staan. NeMo is een platform voor het ontwikkelen van Large Language Models (LLM’s) met behulp van Nvidia GPU’s en software. Het doel van deze samenwerking is om LLM’s op maat te kunnen maken. Het is naar verluidt ook mogelijk om deze LLM’s aante passen zonder gegevens te verplaatsen (buiten Snowflake). Hierdoor blijft de data van een organisatie volledig beveiligd en in beheer van die organisatie, binnen het Snowflake platform.
“Snowflake’s samenwerking met Nvidia brengt krachtige ML en AI naar onze enorme hoeveelheden propriëtaire en gestructureerde data”, zegt Frank Slootman, CEO van Snowflake. Dit moet “ongekende inzichten, voorspellingen en voorschriften bieden aan de wereldwijde zakenwereld”, volgens hem.
Inclusief governance
Door AI-technologie van Snowflake en Nvidia te integreren, moeten bedrijven op maat gemaakte gen-AI-toepassingen kunnen bouwen, inzetten en beheren. Dit moet mogelijk zijn voor alle onderdelen van hun bedrijf in een verscheidenheid aan use cases. Snowflake benadrukt hierbij het feit dat de toepassingen gemaakt kunnen worden daar waar de data staat. Dit moet de kosten drukken en de latency verlagen, maar vooral ook de veiligheid van de data garanderen.
“Data is essentieel voor het creëren van generatieve AI-applicaties die de complexe activiteiten en unieke stem van elk bedrijf begrijpen”, zegt Jensen Huang, oprichter en CEO van Nvidia. “Samen zullen Nvidia en Snowflake een AI-fabriek creëren die bedrijven helpt hun eigen waardevolle data om te zetten in aangepaste generatieve AI-modellen om baanbrekende nieuwe toepassingen mogelijk te maken – rechtstreeks vanuit het cloudplatform dat ze gebruiken om hun bedrijven te runnen.”
De samenwerking tussen Nvidia en Snowflake biedt ondernemingen de mogelijkheid om hun eigen data te gebruiken. Dit kan variëren van honderden terabytes tot petabytes aan ruwe en gecureerde bedrijfsdata. Hiermee kan het LLM’s op maat maken en bedrijfsspecifieke toepassingen en diensten mogelijk maken.
Luister ook: Wat voegt een lakehouse toe in de wereld van data lakes en data warehouses?
Iedereen zijn eigen AI-model
De Snowflake Data Cloud heeft meer dan 8.000 klanten wereldwijd (per 30 april 2023). Die klanten hebben volgens Snowflake de mogelijkheid om data te verenigen, integreren, analyseren en delen. Dit kunnen organisaties doen binnen hun organisaties, maar ook met klanten, partners, leveranciers en anderen. Daarnaast kunnen klanten met Data Cloud toepassingen op schaal bouwen en delen.
Het uniforme platform van Snowflake biedt branchespecifieke Data Clouds. Hiermee helpt het bij de levering van innovatieve oplossingen voor verschillende branches en bedrijfstakken. Denk hierbij aan reclame, media en entertainment, financiële diensten, gezondheidszorg en biowetenschappen, productie, detailhandel en CPG, technologie en telecom. Onlangs lanceerde Snowflake de Government and Education Data Cloud. Deze cloud moet datagestuurde besluitvorming voor de publieke sector mogelijk maken.
Tip: Snowflake introduceert Government & Education Data Cloud
Eindelijk grenzen stellen
Het ontwikkelen van AI-modellen kan niet zonder vooraf ingestelde grenzen. Daar gaat het dan ook veel om in discussies over generatieve AI en LLM’s. Nvidia voegt deze toe met de NeMo Guardrails-software. Hiermee kunnen ontwikkelaars ervoor zorgen dat hun toepassingen zijn afgestemd op bedrijfsspecifieke veiligheids- en beveiligingsvereisten.
Tijdens Snowflake Summit 2023 gaven Torsten Grabs, Senior Director of Product Management bij Snowflake en Kari Briski, VP of AI software management bij Nvidia tekst en uitleg bij deze feature.
Briski legt Nvidia NeMo uit als een end-to-end platformtechnologie. Zezegt dat Guardrails slechts één element is van een bredere set tools die van toepassing zijn op de hele IT-stack:
“Het is een aparte open source repository die tussen het Large Language Model en de eindgebruiker of de applicatie zelf zit. Met NeMo in Snowflake wordt een proces gebruikt dat bekend staat als P-Tuning (prompt tuning), zodat kleine taalmodellen (SLM’s) apart kunnen worden getraind en in een LLM kunnen worden geïnjecteerd en tijdens runtime kunnen worden gepersonaliseerd. In technische termen heet dit Parameter Efficient Fine-Tuning – in minder technische termen biedt het de mogelijkheid om aanpassingen te leveren aan foundation modellen, die vervolgens veilig en met Natural Language gebaseerde queries gebruikt kunnen worden in combinatie met een verscheidenheid aan databronnen.”
Net als Briski legt Grabs van Snowflake uit dat er met Nvidia NeMo in Snowflake in principe geen onbeheerd kanaal is om klantdata naar open generatieve modellen te sturen:
“Het blootstellen van bedrijfskritische data aan open modellen is over het algemeen natuurlijk niet aan te raden. Dit is niet wat organisaties zouden moeten doen met live operationele data en de meeste bedrijven hebben al het juiste in hun bedrijfsmentaliteit. Ze weten meestal wat ze moeten doen met hun data in de dagelijkse praktijk. Wat Snowflake heeft gedaan door dit jaar met Nvidia samen te werken, is een intelligente manier creëren om compute te containeriseren om een LLM en de hele NeMo management stack veilig te hosten.”
Grabs merkt verder op dat gebruikers al enige tijd vragen om GPU-kracht in Snowflake. Hij merkt op dat een moderne AI-stack sowieso de snelheid van GPU’s nodig heeft voor alles van eenvoudige beeldverwerking en hoger. Het belangrijkste onderdeel van dit hele verhaal is echter de mogelijkheid om veilig te werken aan krachtige modellen, die in volledig beheer zijn.
Zijn we inmiddels op het punt van volledig veilige dataverbindingen met open of community-gebaseerde AI-modellen? In dit geval misschien wel, maar er zijn nog veel meer verbindingen via derden waar we ons bewust van moeten blijven. De ontwikkelingen zoals beschreven in dit artikel zijn echter bemoedigend.
2 dagen geleden
Expert bijdrage
