Een compact AI-model met outputs die concurreren met die van LLM’s van Meta en Google. Dat is de belofte die Microsoft geeft met het nieuw aangekondigde Phi-2, een zogeheten “Small Language Model” (SLM). Waarvoor is Phi-2 bedoeld? En bovenal: wat zegt deze ontwikkeling over de toekomst van AI-modellen?
Het Microsoft-team stelt dat Phi-2 een “ideale speeltuin voor onderzoekers” is, mede wegens het compacte formaat. Met slechts 2,7 miljard parameters is het aanzienlijk kleiner dan bijvoorbeeld Meta’s Llama 2-varianten (7B, 13B, 70B). Desondanks presteert het volgens de gepresenteerde benchmarks even goed of beter dan modellen die tot wel 25 keer zo groot zijn. Of het nu om redeneren, taalbegrip, wiskundige vaardigheden of coderen gaat, Phi-2 behaalt resultaten waar andere partijen veel meer parameters aan kwijt zijn.
Een kleiner model kost minder rekenkracht om te draaien. Phi-2 is daarom een stuk praktischer om onderzoek mee te doen, dat Microsoft mogelijk maakt via de Azure AI Studio.
Betere data, minder parameters
Phi-2 is getraind op een nauwkeurig gekozen selectie van “textbook quality” trainingsdata. Daar waar voorganger Phi-1 enkel gericht was op coderen, is dit nieuwe model met dezelfde filosofie uitgebouwd om op allerlei fronten uit de voeten te kunnen. Microsoft heeft na het trainingsproces van 14 dagen (op 96 Nvidia A100-GPU’s) geen ‘reinforcement learning from human feedback’ toegepast. Met andere woorden: geen fine-tuning achteraf, maar toch sterke resultaten. Ook zou Phi-2 minder snel schadelijke of beledigende zinnen construeren dan bijvoorbeeld Llama 2-7B.
De conclusie is dus duidelijk: niet meer parameters, maar betere trainingsdata biedt vooral de kans om AI-modellen verder te ontwikkelen. Die gedachtegang was al in april van dit jaar prominent aan het worden. Zo stelde OpenAI-CEO Sam Altman dat er met de ontwikkeling van GPT-4 (met meer dan een biljoen parameters) al duidelijk was dat er niet eindeloos meer parameters nodig zouden zijn voor betere outputs. In diezelfde maand presenteerde Databricks Dolly 2.0, een model met 6 miljard parameters dat wegens een hoogwaardige dataset met imposante resultaten kwam.
Lees verder: Dolly 2.0: een transparant AI-alternatief voor GPT-4
Phi-2: niet een nieuwe Galactica
Een jaar geleden, vlak voordat ChatGPT op het wereldtoneel was verschenen, presenteerde Meta het zogeheten Galactica. Dit AI-model werd met veel bombarie gekarakteriseerd als een hulpmiddel voor onderzoekers. Het kon wetenschappelijke papers samenvatten, wiskundige formules opstellen en nog veel meer. Echter zat er veel onzin tussen de gegenereerde antwoorden, zoals bleek uit verschillende voorbeelden.
Cameron Wolfe, Director of AI bij Rebuy Engine, hoopt dat Phi-2 niet dezelfde negatieve reactie als Galactica zal ontvangen. Hij stelt op X dat Phi-2 een nieuw beginpunt kan zijn voor het gebruik van AI onder academici, mede wegens het feit dat het model open-source is voor onderzoekers.
De doelstelling van Microsoft is in dit geval een stuk minder ambitieus uitgelegd dan wat Meta in 2022 te melden had. Hierbij gaat het erom dat SLM’s een zinnig alternatief beginnen te zijn voor de immense modellen van partijen als Google, Meta en OpenAI. Ook laat het zien wat Microsoft zelf in huis heeft op generatieve AI-gebied, aangezien men dit jaar juist stevig geleund heeft op OpenAI om in nagenoeg elke applicatie uit de eigen suite AI te bouwen.
Hoe dan ook heeft het geen misleidende video paraat staan om de prestaties van Phi-2 te tonen, zoals Google onlangs deed.
Tip: Google laat Gemini toch al dit jaar strijden met GPT-4: Bard krijgt upgrade
23 uur geleden
Expert bijdrage
