Snowflake heeft tijdens de recent Summit 2023 flink wat aankondigingen gedaan, waaronder de Snowpark Container Services. In essentie maakt dit het mogelijk om gecontaineriseerde workloads te deployen, beheren en schalen met Snowflake-infrastructuur. Maar wat betekent het in de praktijk?
In ons Snowflake Summit 2023-overzichtsartikel behandelden we de Snowpark Container Services al kort. De nieuwe dienst zal na de private preview waarin het zich nu bevindt, een aanvulling moeten zijn voor Snowpark. Snowpark is het ontwikkelaarsframework van Snowflake om het schrijven van code in bijvoorbeeld Python, Java en Scala mogelijk te maken. Zo kunnen developers onder andere data pipelines in hun voorkeurstaal bouwen.
Inmiddels zijn containers een standaard binnen de industrie om code in onder te brengen, zodat het in verschillende omgevingen kan draaien. “Met name voor geavanceerde AI/ML-modellen en full-stack data-intensieve apps”, zegt Snowflake hierover. Er zijn vaak enorme hoeveelheden proprietary data met dit soort toepassingen gemoeid. “Het creëren, ontwikkelen en uitvoeren van deze workloads op schaal is over het algemeen complex, waardoor ontwikkelaars en data scientists gedwongen worden meer tijd te besteden aan het beheer van de compute en clusters voor deze applicaties in plaats van zich te concentreren op het zakelijke probleem.”
Daarnaast constateert Snowflake dat full-stack apps en large language models (LLM’s) niet direct kunnen worden uitgevoerd waar data wordt beheerd. Dat maakt het beveiligen van de data volgens het bedrijf lastig, soms zelfs haast onmogelijk.
De oplossing
Voor Snowflake was het hoog tijd om full-stack apps, LLM’s en andere uitgebreide data-oplossingen veiliger en dichterbij de data te brengen. Dat gaat het nu doen met Snowpark Container Services, dat zich in private preview bevindt en na verloop van tijd verder uitbreidt. Snowflake omschrijft het als een aanvullende Snowpark-runtimeoptie voor ontwikkelaars. Hiermee kunnen ze “moeiteloos gecontaineriseerde workloads (jobs, services, servicefuncties) implementeren, beheren en schalen met behulp van een veilige, door Snowflake beheerde infrastructuur met configureerbare hardware-opties, zoals GPU’s.”
De Snowpark Container Services neemt de taak van het beheren en onderhouden van compute en clusters voor containers weg. De containers draaien in Snowflake, waardoor de data niet meer uit de omgeving hoeft te gaan voor een AI-model of applicatie. Je bedrijf kan hiermee intern ontwikkelde data-oplossingen naar de Data Cloud brengen, maar ook oplossingen van derden installeren en draaien. Onderstaande afbeelding geeft een overzicht van de betrokken onderdelen.
Wat maakt het in de praktijk mogelijk?
Deze benadering klinkt best interessant, al vroegen wij ons ook af wat dit nou echt mogelijk maakt. Gelukkig kon Snowflake tijdens de Summit 2023-gebruikersconferentie voorbeelden delen van techpartners die gebruikmaken van de Snowpark Container Services. We zullen er hieronder twee behandelen die wat ons betreft laten zien hoe data engineers/data scientists profiteren.
De eerste is SAS, dat met zijn Viya-platform binnen organisaties gebruikt wordt voor modelontwikkeling. De integratie van SAS met Snowflake moet ervoor zorgen dat de hele analytics- en AI lifecycle, van data discovery en modelontwikkeling tot het uiteindelijk nemen van besluiten op basis van data, ondersteund wordt. “Snowpark Container Services stelt onze gezamenlijke klanten in staat om SAS Viya AI- en beslissingsmogelijkheden in Snowflake te gebruiken om kritische vragen te beantwoorden, inzichten te ontdekken en betere beslissingen te nemen”, zegt SAS-CTO Bryan Harris. “We zijn er trots op om samen te werken met Snowflake, aangezien klanten in de huidige wereld technologiebedrijven nodig hebben om namens hen samen te werken, om grotere productiviteitswinsten en innovatie in hun bedrijven te stimuleren. Samen democratiseren we de creatie en implementatie van AI en stellen we onze klanten in staat om efficiënter te bouwen in de Snowflake Data Cloud.”
Een andere techpartner van Snowflake die gebruik gaat maken van Snowpark Container Services, is Alteryx. Het platform van Alteryx helpt bedrijven de processen rond analytics, machine learning en data science te automatiseren. Door de nieuwe integratie met Snowflake wil Alteryx het makkelijker maken om data te vinden en transformeren. Het breidt de mogelijkheden van Alteryx’ cloud-connected experiences uit, zoals het bedrijf zelf de integratie omschrijft. “Met Alteryx’ Snowflake Execution for Desktop kunnen gezamenlijke klanten gebruikmaken van de low-code geavanceerde transformatietools van Alteryx en de data processing voor hun workflows volledig binnen Snowflake uitvoeren”, vult senior director of product management Torsten Grabs van Snowflake aan. “Deze nieuwe mogelijkheid democratiseert op een veilige manier data access voor business users en analisten.”
Lees ook: Nvidia en Snowflake willen zorgen rondom gen-AI wegnemen met veilige LLM’s
1 dag geleden
Expert bijdrage
