Snowflake voegt de instelling ‘cross-region inference’ beschikbaar. Dit vergroot de beschikbaarheid van AI-modellen.
In Europa komen AI-modellen regelmatig pas later beschikbaar. De bedrijven achter de AI-modellen willen eerst zeker zijn dat de modellen aan alle regel- en wetgevingen voldoen, voordat een lancering wordt overwogen.
Bedrijven kunnen hierdoor een concurrentienadeel oplopen, doordat innovatiemogelijkheden beperkt worden. Snowflake biedt nu een oplossing voor deze bedrijven. Door de nieuwe instelling, ‘cross-region inference‘, krijgen ontwikkelaars toegang tot Cortex AI. De verzoeken voor het AI-model worden afgehandeld zonder daar egress-kosten voor te betalen.
Dataverwerking in ander continent
Om bedrijven toegang te geven tot het AI-model, zonder het model in een bepaalde regio uit te brengen, wordt het verzoek in een andere regio verwerkt. Een verzoek van een Europees bedrijf zal op deze manier bijvoorbeeld in Amerika worden afgehandeld. Om de instelling te gebruiken, moeten ontwikkelaars cross-regio activeren en bepalen in welke regio zij de data willen verwerken.
Dataprivacy wordt volgens Snowflake in alle gevallen gewaarborgd. Dat kan binnen de grenzen van één cloudprovider blijven als de regio waar het bedrijf zich bevindt en de regio waar de data verwerkt moet worden, beide werken met AWS. In andere gevallen zal de data via versleutelde protocollen over het internet worden overgedragen. De data zal momenteel alleen op AWS worden verwerkt, ook bij gebruikers die cross-regio activeren voor Azure of Google Cloud.
Arun Agarwal, Senior Product Marketing Manager bij Snowflake, merkt nog op dat de dataverwerking wat vertraging kan oplopen door de dataverzending en -verwerking. “We verwachten dat de netwerk latency verwaarloosbaar zal zijn, vergeleken met de LLM-inference latency. We raden u aan uw specifieke gebruiksscenario te testen terwijl inferentie tussen regio’s is ingeschakeld.”
Bedrijven die via de nieuwe mogelijkheid nu toegang hebben gekregen tot Cortex AI, betalen alleen voor het gebruik van het LLM. Nieuwe LLM’s zullen worden toegevoegd zodra Snowflake er uitbrengt.
Tip! Snowflake makes AI Data Cloud the brain of any business