De Franse AI-startup Mistral AI brengt Pixtral 12B naar buiten, een geavanceerd model dat zowel afbeeldingen als tekst kan verwerken. Daarmee voegt deze nieuweling zich tussen het groeiende aantal multimodale AI-systemen, waar (versies van) Anthropic’s Claude, OpenAI’s GPT-4o en Google’s Gemini al bij horen.
Pixtral 12B heeft, zoals de naam al verklapt, 12 miljard parameters en bevat bovendien een 400 miljoen parameters tellende vision-adapter, waardoor het naast tekstinvoer ook afbeeldingen kan ‘zien’. Het model bouwt voort op Mistral’s oudere model Nemo 12B, dat overigens alleen tekst kon verwerken. Het stelt gebruikers in staat om afbeeldingen te uploaden via URL’s of base64-codering.
Via die laatste methode wordt een afbeelding omgezet in een reeks tekens (strings), zoals een JSON-bestand. Deze reeks kan dan door het AI-model weer worden gedecodeerd tot een afbeelding. Het model kan taken aan zoals bijschriften bedenken bij afbeeldingen, objecten tellen op een foto of illustratie en algemene vragen beantwoorden over (de inhoud van) afbeeldingen.
Uitgebracht onder Apache 2.0-licentie
Volgens Sophia Yang, Head of Developer Relations bij Mistral, komt het model binnenkort beschikbaar op Le Chat en Le Platforme. Dat betekent dat iedereen met een gebruiekrsaccount in principe de chatbot- of API-functionaliteiten kan uitproberen. Mistral AI heeft de code en parameters van Pixtral 12B vrijgegeven op GitHub en Hugging Face. Het bedrijf moedigt developers van harte aan het model te downloaden, te verfijnen en verder te trainen.
Het model is 24 GB, open-source en gratis beschikbaar onder de behoorlijke vrije Apache 2.0 licentie, zoals ook enkele andere van Mistral’s modellen zoals Mistral 7B, Mixtral 8x22B, Mistral Nemo en Mistral Embed. Andere modellen van de Franse AI-startup zijn gebonden aan de Research- (zoals Mistral Large) of Non-Production-licentie (Codestral). Deze beperken commercieel gebruik en staan in het eerste geval zelfs alleen gebruik in onderzoek toe.
Zorgen over bronmateriaal
LLM’s, en zeker multimodale, zijn nogal eens getraind op informatie die van het internet of social media afkomstig is. Daar is een hoop om te doen, want het gaat in veel gevallen ook om materiaal waar copyright op rust. In andere gevallen is het bronmateriaal geplaatst zonder dat degene die het online zette, ooit kon vermoeden dat het zou worden gebruikt voor het trainen van kunstmatige intelligentie.
Zo heeft Mistral AI’s bekende Amerikaanse tegenhanger OpenAI bijvoorbeeld dankbaar gebruik gemaakt van fora als Reddit om de eigen AI-modellen te trainen, eerst onbetaald, daarna door een deal te sluiten met het platform. Dat leidde tot (kortstondig en uiteindelijk vruchteloos) verzet onder gebruikers.
Binnen een jaar naar bijna 6 miljard euro
De Franse AI-startup Mistral AI heeft onlangs de gewenste 600 miljoen euro opgehaald die het eerder als streefbedrag stelde voor zijn nieuwste investeringsronde. De geschatte bedrijfswaarde is inmiddels bijna 6 miljard euro. Niet slecht, voor een bedrijf dat net een jaar oud is.
Deze laatste financiering bestaat voor 468 miljoen euro aan eigen vermogen en 132 miljoen euro aan vreemd vermogen, meldde de Financial Times destijds. Het bedrijf is inmiddels gewaardeerd 5,8 miljard euro.
Lees ook: Mistral onthult Large 2-model: “groot genoeg”, maar goed genoeg?