AWS gaat twee opensource LLM’s van Mistral beschikbaar maken in Amazon Bedrock. Dit moet klanten nog meer opties bieden om de juiste AI voor hun doeleinden te vinden.
De achterliggende redenen om nu ook de LLM’s van Mistral via Amazon Bedrock aan te bieden zijn volgens AWS divers. In de eerste plaats laten deze AI-modellen een goede kosten-batenbalans zien en dit biedt bedrijven de mogelijkheid GenAI in te zetten zonder extreme kosten.
Een andere reden is volgens AWS dat de betreffende LLM’s van de Franse AI-start-up een zeer snelle inferencing-snelheid bieden. Dit maakt het schalen van productieprocessen veel efficiënter.
Overige redenen
Ook bieden deze opensource-LLM’s meer transparantie en aanpasbaarheid, zodat bedrijven eenvoudiger hun eigen behoeften kunnen laten vervullen, maar ook aan de strengste compliance kunnen voldoen.
Verder bieden de Mistral-modellen een betere toegang tot AI in het algemeen. Volgens AWS helpen deze modellen AI door meerdere doelgroepen te laten gebruiken. Dit brengt op zijn beurt GenAI naar meer bedrijven, ongeacht hun grootte.
Mistral 7B en ‘Mixtral’ 8x7B
Meer specifiek draait de introductie van de Mistral-LLM’s in Amazon Bedrock om Mistral 7B en het zogeheten Mixtral 8x7B.
Hierbij moet de komst van Mistral 7B gebruikers van AWS meer bieden op basis van een relatief lage geheugencapaciteit, maar wel met een hoge throughput. Bovendien ondersteunt dit model een reeks van speciale use-cases, zoals onder meer het samenvatten van tekst, het classificeren van tekst, het voltooien van tekst en het voltooien van code.
De komst van Mixtral 8x7B biedt een nog krachtiger zogeheten Mixture-of-Experts (MoE)- model. Hiermee kunnen gebruikers tekstsamenvattingen maken, vragen laten beantwoorden, tekstclassificaties en codecreatie uitvoeren in meerdere talen. Ondersteunde talen zijn het Frans, Engels, Duits, Spaans en Italiaans.
Wanneer beide opensource Mistral LLM’s precies in Amazon Bedrock beschikbaar komen is nog niet bekend.
Lees ook: AWS brengt conversational agents naar AI-platform Bedrock