IBM heeft een nieuwe generatie open-source taalmodellen uitgebracht onder de naam Granite 4. De serie combineert twee neurale netwerkarchitecturen en moet betere prestaties leveren met minder geheugengebruik.
De Granite 4-familie bestaat bij de lancering uit vier modellen met omvang tussen 3 en 32 miljard parameters. Volgens IBM presteren ze efficiënter dan eerdere generaties, dankzij een hybride opzet waarin de Transformer-architectuur wordt gecombineerd met Mamba, een nieuwe en hardwarezuinige netwerkstructuur.
Een van de kleinere modellen, Granite-4.0-Micro, gebruikt uitsluitend de Transformer-aanpak. Deze staat bekend om het attention-mechanisme, waarmee het model de belangrijkste delen van een tekst selecteert en prioriteert. De drie andere modellen voegen hier elementen van de Mamba-architectuur aan toe. Mamba biedt vergelijkbare mogelijkheden, maar gebruikt daarvoor een wiskundig systeem genaamd een state space model, oorspronkelijk ontwikkeld voor ruimtevaarttoepassingen.
Lagere geheugendruk
Een voordeel van Mamba is de lagere geheugendruk bij lange invoerprompts. Waar het geheugengebruik van een Transformer snel toeneemt, blijft dat bij Mamba beperkt. Dit maakt de modellen goedkoper en sneller, vooral nuttig bij real-time toepassingen of op lichtere hardware.
De Granite 4-serie is gebouwd op de nieuwste versie van de Mamba-architectuur, Mamba 2. Deze is compacter en efficiënter, waardoor minder hardware nodig is voor dezelfde berekeningen. Het grootste model, Granite-4.0-H-Small, telt 32 miljard parameters en gebruikt een mixture-of-experts-ontwerp waarbij slechts een deel van de parameters wordt geactiveerd. IBM ziet hierin een geschikte oplossing voor geautomatiseerde klantenondersteuning.
De twee kleinere hybride modellen, Granite-4.0-H-Tiny en Granite-4.0-H-Micro, beschikken over 7 miljard en 3 miljard parameters. Ze zijn bedoeld voor toepassingen waarin snelheid belangrijker is dan maximale nauwkeurigheid.
Volgens IBM verbruikt Granite-4.0-H-Tiny veel minder geheugen dan zijn voorganger, Granite 3.3 8B. In interne tests gebruikte het model slechts een zesde van het RAM-gebruik, terwijl de uitvoerkwaliteit verbeterde. Een IBM-onderzoeker verklaarde dat de efficiëntie van de nieuwe architectuur slechts deels de vooruitgang verklaart; vooral verfijnde trainingsmethoden en een groter trainingscorpus dragen bij aan de betere prestaties.
Granite 4 is beschikbaar via IBM’s watsonx.ai-platform en via externe diensten zoals Hugging Face. IBM wil de modellen later ook aanbieden via Amazon SageMaker JumpStart en Microsoft Azure AI en plant uitbreiding met nieuwe varianten met geavanceerdere redeneervermogen.