Hugging Face, ServiceNow en Nvidia hebben onlangs onder de noemer StarCoder2 een drietal open-access-LLM’s geïntroduceerd. Deze LLM’s zijn bij uitstek geschikt voor het uitvoeren van codegerelateerde taken.
Het samenwerkingsverband van Hugging Face, ServiceNow en Nvidia heeft binnen het StarCoder2-portfolio drie LLM’s in verschillende groottes ontwikkeld; één van drie miljard parameters, één van zeven miljard parameters en één van vijftien miljard parameters. Daarnaast zijn deze LLM’s getraind op maar liefst 619 verschillende programmeertalen. Het samenwerkingsverband richt zich specifiek op het verantwoord ontwikkelen en gebruik van LLM’s voor coderingsdoeleinden.
Concreet moeten de nu ontwikkelde StarCoder2-modellen bedrijven helpen met het versnellen van diverse programmeertaken uit hun ontwikkeltrajecten. Doordat de LLM’s zogenoemde open-access-modellen zijn, moeten ze eerdere GenAI-initiatieven verbeteren op vlakken als productiviteit en gelijke toegang voor ontwikkelaars.
Getraind op meer data
Onder de motorkap zijn de drie verschillende LLM’s binnen StarCoder2 getraind onder de noemer The Stack v2. Deze dataset bevat volgens de ontwikkelaars, maar liefst zeven keer zoveel trainingsdata dan de voorgaande versie.
Daarnaast gebruikten de ontwikkelaars binnen het BigCode-project nieuwe trainingsmethodes. Hiermee willen ze ervoor zorgen dat de LLM’s ook programmeertalen met kleinere bronnen, zoals het oude COBOL, wiskundige talen en program source-discussies, kunnen begrijpen en genereren.
Het kleinste StarCoder2-LLM, dat van drie miljard parameters, is daarbij getraind met behulp van het ServiceNow Fast LLM-framework. Het LLM met zeven miljard parameters, is ontwikkeld met behulp van het nanotron-framework van Hugging Face. Het grootste model van vijftien miljard parameters is getraind en geoptimaliseerd met het end-to-end Nvidia NeMo cloudgebaseerde framework en de Nvidia TensorRT LLM-software.
Verwachtingen
De drie ontwikkelaars hopen met de StarCoder2-LLM’s natuurlijk de beste prestaties te leveren voor coderingstaken. Uit testen zou in ieder geval al blijken dat het kleinste StarCoder2-model al even goede prestaties heeft als de eerdere StarCoder-LLM van vijftien miljard parameters. Daarnaast geven de ontwikkelaars aan dat de nieuwe LLM’s onder meer mogelijkheden bieden voor ‘repository context’ en het genereren van nauwkeurige en context-aware voorspellingen.
De StarCoder2-LLM’s zijn nu beschikbaar via de GitHub-pagina van het BigCode-project. Ook zijn zij beschikbaar via Hugging Face. De door Nvidia getrainde variant van vijftien miljard parameters komt ook beschikbaar via de Nvidia AI Foundation-omgeving.
Lees ook: ServiceNow en Hugging Face brengen nieuwe LLM uit voor codegeneratie
19 uur geleden
Expert bijdrage
