JetBrains heeft Mellum2 als open source uitgebracht, een 12B-parametermodel gebouwd voor softwareengineering-omgevingen. Met een Mixture-of-Experts-architectuur zijn slechts 2,5 miljard parameters per token actief, wat de inferencingtijd tot minder dan de helft terugbrengt ten opzichte van vergelijkbare modellen. Het model is beschikbaar onder de Apache 2.0-licentie.
De oorspronkelijke Mellum was een 4B-parametermodel gericht op code completion, ingezet als onderdeel van JetBrains’ AI Assistant. Mellum2 ondersteunt naast code nu ook natural language en is geschikt voor routing, samenvatten en tussenliggende redeneerprocessen in moderne AI-workflows.
Het model is gepubliceerd op Hugging Face onder de Apache 2.0-licentie. Wie wil, kan Mellum2 lokaal draaien, zelf hosten of fine-tunen voor eigen toepassingen.
MoE-architectuur verlaagt inferencingkosten sterk
Mellum2 maakt gebruik van een Mixture-of-Experts-ontwerp (MoE). Van de 12 miljard parameters zijn er per token slechts 2,5 miljard actief. Dat verlaagt de rekenkosten aanzienlijk en maakt snelle inferencing mogelijk voor real-time toepassingen. Volgens JetBrains is de inferencingtijd minder dan de helft van die van vergelijkbare dichte modellen, een concreet voordeel voor productieomgevingen. Het model is niet multimodaal en uitsluitend getraind op natural language en code, wat het snel en gespecialiseerd houdt. Op benchmarks voor code generation, wiskunde en redeneren presteert Mellum2 vergelijkbaar met andere modellen van vergelijkbare omvang, aldus JetBrains’ technisch rapport.
JetBrains positioneert Mellum2 als een “focal model”, een snel, gespecialiseerd component voor taken die hoge frequentie en lage latentie vereisen. Concrete toepassingen zijn het routeren van AI-workloads, het bouwen van RAG-pipelines, het aansturen van sub-agents in complexe workflows en privédeployment op eigen infrastructuur.
“Bij JetBrains geloven we dat de toekomst toebehoort aan gecoördineerde systemen, niet aan afzonderlijke modellen”, stelt het bedrijf. Mellum2 is bedoeld als een van die gespecialiseerde componenten naast grote frontier-modellen, niet als vervanging ervan.