Deze week kondigde Databricks diens open-source large language model Dolly 2.0 aan. Met dit product kunnen bedrijven met hun eigen AI-model aan de slag. In een blogpost stelt Databricks dat de AI-wereld gebaat is bij een brede groep belanghebbenden, in plaats van alleen grote spelers. Maar wat houdt Dolly 2.0 precies in? En wat kun je er als bedrijf mee?
Generatieve AI is inmiddels bij het grote publiek bekend door middel van het explosieve succes van ChatGPT sinds eind 2022. De chatbot maakte veel indruk door vaak erg geloofwaardige antwoorden te geven. We hebben destijds al bekeken wat ChatGPT voor de wereld kan betekenen.
Rond generatieve kunstmatige intelligentie is inmiddels een aardig debat ontstaan, met auteursrecht, privacy en transparantie als belangrijke discussiepunten. OpenAI, producent van ChatGPT, geeft bijzonder weinig weg wat betreft diens AI-model. Voorstanders van open-source AI-ontwikkeling stellen echter dat deze onduidelijkheid veel risico’s kent. Zo is het onduidelijk hoe het tot een antwoord komt en op welke data de AI getraind is. Dolly 2.0 is een poging om deze zorgen weg te nemen.
Versie 2.0 is erg snel na Dolly 1.0 verschenen. Databricks kondigde eind maart aan dat het met een eigen large language model (LLM) kwam. Met slechts 6 miljard parameters is het aanzienlijk kleiner dan GPT-3, dat er 175 miljard heeft. Dit aantal wordt veelal gezien als een indicatie van de effectiviteit van een LLM. Toch bleek uit onderzoek van Databricks dat er verbazingwekkend goede resultaten te behalen waren met een compact model. Waar kan een dergelijke AI-oplossing voor ingezet worden?
Hoogwaardige dataset
Het is wel belangrijk om de verwachtingen niet te hoog te spannen. Hoewel Dolly 2.0 net als OpenAI’s GPT-versies een LLM is, geeft Databricks toe dat het niet als state-of-the-art gezien moet worden. Daar waar de chatbot ChatGPT Plus met GPT-4 tegen betaling beschikbaar is om de meest geavanceerde AI in te zetten, is Dolly gebaseerd op oudere LLM’s die beperkter zijn. Wie de twee modellen vergelijkt, ziet al gauw dat de gebruiker meer overtuigende antwoorden kan verwachten van ChatGPT dan van Dolly.
Wat biedt Dolly 2.0 nou echt? Allereerst kent het een grotere set parameters dan diens voorganger van twee weken eerder: 12 miljard. Nog altijd bijna 15 keer zo klein als GPT-3 dus. De LLM is gebaseerd op Pythia, een groep open-source modellen van EleutherAI. Dit is belangrijk omdat Dolly 2.0 nergens gebruikmaakt van content die auteursrechten bevat. Om die reden is het dus commercieel inzetbaar.
Haalbaar
Wat Databricks zegt te hebben ontdekt, is dat de kwaliteit van de dataset nog belangrijker lijkt ten opzichte van het aantal parameters dan voorheen gedacht. Het bedrijf heeft 5000 medewerkers ingezet om tot 15.000 hoogwaardige prompt-response pairs te komen. Het gaat hier om suggesties die gepaard gaan met goed onderbouwde en uitgebreide antwoorden. Databricks biedt de dataset aan als voorbeeld van wat gebruikers met Dolly 2.0 kunnen doen. Om het model voor een specifiek doeleind te trainen, kunnen geïnteresseerden zelf een dataset toevoegen die relevant is voor de toepassing. Zo kan een klantenservice de AI bijvoorbeeld trainen op basis van sterke reacties op klachten of vragen.
Extra parameters zorgen voor meer complexiteit, maar voor de inzetbaarheid van AI is het niet per se nodig dat een model over alles wat te zeggen heeft. Daarnaast is de computerkracht die nodig is om een LLM te draaien aanzienlijk: een verkleining van de set parameters kan het mogelijk maken een AI-berekening lokaal te draaien. Het draaien van ChatGPT is momenteel alleen haalbaar op cloud-basis. Dolly 2.0 loopt gemakkelijk tegen een tekort aan systeemgeheugen aan op de gemiddelde pc, maar een goed uitgeruste workstation zal ermee overweg kunnen.
Inzet
Het motief voor Databricks om generatieve AI te willen democratiseren, is goed te begrijpen. Het bedrijf biedt een pakket aan diensten om aan grote datasets te werken. Denk aan het monitoren van kleppen bij tankstations van Shell om te voorspellen wanneer ze aan vervanging toe zijn. Een AI-oplossing die inspeelt op de specifieke wensen van een dergelijke toepassing, kan dit soort processen beter inzichtelijk maken. Daarnaast is Databricks sowieso al geruime tijd positief over open-source projecten. Op deze manier draagt het een steentje bij aan de ontwikkeling van deze gemeenschap.
Kortom, de inzet is duidelijk. Databricks ziet in Dolly 2.0 een kans om stappen te zetten tijdens de explosieve groei die generatieve AI doormaakt. Monolithische modellen zoals die van OpenAI bieden desondanks stevige concurrentie voor deze aanpak.
2 uur geleden
