Met het nieuwe Codestral wil Mistral ontwikkelaars zo goed mogelijk assisteren. De inzetbaarheid van het nieuwe model is enorm, aangezien het 80 programmeertalen ondersteunt en als (semi-)open-source LLM ten tonele verschijnt.
Menig populaire taal valt onder de 80, waaronder Python, Java, C, C++, JavaScript en Bash. Toch haalt Mistral aan dat Codestral ook goed presteert met Swift en het antieke Fortran.
De use case voor Mistral is vergelijkbaar met andere ‘codepilots‘, zoals de functies binnen GitHub Copilot. Specifiek noemt het Franse bedrijf het voltooien van functies, het schrijven van tests en het af maken van gedeeltelijke code. Dit is niet alleen een autocomplete, maar fungeert tevens als een “fill-in-the-middle”-mechanisme.
Beste AI-hulp voor programmeurs
Codestral is één van velen als het om AI-assistenten gaat gericht op code. Zelfs ChatGPT en Gemini kunnen enigszins overweg met programmeercode, hoewel andere oplossingen accurater zijn. Codestral, dat gebruik maakt van 22 miljard parameters, heeft vooral concurrentie van CodeLlama 70B, DeepSeek Coder 33B en Llama 3 70B. In verschillende benchmarks torent Codestral hoog boven deze alternatieven uit, met vooral zeer imposante prestaties verspreid over meerdere talen.
De sleutel naar dit succes lijkt de grote context window te zijn van 32.000, ofwel de hoeveelheid tokens die het model kan meenemen voor verdere AI-verwerking. 32k is aanzienlijk groter dan wat CodeLlama (4k), DeepSeek Coder (16k) en Llama 3 (8k) aankunnen. Net als Google heeft Mistral ontdekt dat het vergroten van deze context window de accuratesse significant verbetert. Een vergelijkbare stap werd eerder al gezet door Anthropic met Claude 3, dat zich overigens niet specifiek richt op coderen.
Tip: ‘Claude 3 is beter dan GPT-4 en Gemini’: OpenAI heeft steeds meer concurrenten
Wel open-source?
Codestral is gratis te downloaden via HuggingFace. Echter zit er een addertje onder het gras, want het model mag enkel voor onderzoek en testdoeleinden gebruikt worden onder de Mistral AI Non-Production License. Werkelijk ‘free and open-source’ is Codestral dus niet.
Naast HuggingFace kunnen gebruikers kiezen voor Le Chat, een gratis chatinterface. Een dedicated endpoint (codestral.mistral.ai) is tevens beschikbaar en past het beste bij gebruikers die Instruct of Fill-in-the-Middle binnen een ontwikkelomgeving (IDE) willen inzetten. De gratis bètaperiode voor deze methode duurt 8 weken en zit achter een wachtlijst.
Lees ook: Mistral AI zoekt 600 miljoen om AI-ambities te realiseren