Versie 1.3 van Red Hat Enterprise Linux (RHEL) introduceert het Granite 3.0 8b-model op het platform en maakt de voorbereiding van trainingsdata eenvoudiger.
De Granite-LLM’s zijn ontwikkeld door IBM, het moederbedrijf van Red Hat, en maken deel uit van Red Hat’s aanbod om AI naar enterprise-omgevingen te brengen. Granite kan worden ingezet voor toepassingen zoals samenvatten, vraagbeantwoording en classificatie. Denk bijvoorbeeld aan het afmaken van een coderegel voor ontwikkelaars of het analyseren van grote datasets om inzichten te verkrijgen.
Met RHEL AI 1.3 wordt ondersteuning geboden voor Granite 3.0 8b. Red Hat beschrijft dit type Granite als een converged model dat geschikt is voor natuurlijke taalverwerking, codegeneratie en function calling. Het model is direct bruikbaar voor Engelstalige use cases. In de developer preview is ook ondersteuning beschikbaar voor niet-Engelse toepassingen, evenals voor coderen en functies.
Data voorbereiden
Voor de voorbereiding van data voor modeltraining leunt Red Hat eveneens op IBM. Recent heeft IBM Docling open source gemaakt, een project dat documentformaten kan omzetten naar formaten als Markdown en JSON. RHEL AI 1.3 integreert Docling als nieuwe feature, waardoor bijvoorbeeld PDF-bestanden eenvoudig kunnen worden geconverteerd voor data-ingestie in InstructLab.
Door Docling toe te voegen, biedt RHEL AI ook context-aware chunking. Deze technologie houdt rekening met de structuur en semantische elementen van documenten, wat leidt tot betere antwoorden van AI-toepassingen.