Phi-4 is een klein state-of-the-art SLM met 14 miljard parameters dat zelfs OpenAI’s grote taalmodel GPT-4 overtreft in de MATH- en GPQA AI-benchmarks.
Microsoft beweert volgens Neowin dat de sterke prestaties van dit SLM op het gebied van wiskundig redeneren te danken zijn aan het gebruik van hoogwaardige synthetische datasets. Dit naast de curatie van hoogwaardige organische data. En dankzij verbeteringen na de training van het model.
De synthetische data voor training werden gegenereerd met behulp van verschillende technieken. Denk daarbij aan multi-agent prompting, zelfrevisie-workflows en instructieomkering. Deze synthetische data vormen het grootste deel van de trainingsdata. Daarnaast gebruikte Microsoft technieken zoals afwijzingssampling. Dit om de uitvoer van het model tijdens het post-trainingsproces te verfijnen.
Zorgen over uitlekken van benchmark-testsets
In het technische document over Phi-4 besteedde Microsoft ook aandacht aan zorgen over het uitlekken van benchmark-testsets via het web. Microsoft heeft het datadecontaminatieproces voor Phi-4 verbeterd om oneerlijke beïnvloeding van evaluatieresultaten te voorkomen. Om dit te bevestigen, testte Microsoft het model op de AMC-10 en AMC-12 wiskundewedstrijden van november 2024. Die vonden plaats nadat de trainingsdata van Microsoft waren verzameld.
Phi-4 presteert beter dan zowel vergelijkbare modellen van dezelfde grootte, maar ook beter dan de grotere geavanceerde modellen, waaronder Gemini 1.5 Pro. Microsoft stelt dat de topprestaties van Phi-4 op de MATH-benchmark niet te wijten zijn aan overfitting of contaminatie.
Phi-4 kent beperkingen
Phi-4 heeft ook zwakke punten, aangezien het fundamenteel beperkt blijft door zijn omvang. Het model kan foutieve informatie geven over feitelijke kennis. Ook is het minder goed in staat om gedetailleerde instructies strikt op te volgen. Voor de evaluatie van de veiligheid van het model werkte het Phi-4-team samen met het onafhankelijke AI Red Team (AIRT) van Microsoft om veiligheids- en beveiligingsrisico’s te identificeren die Phi-4 met zich meebrengt. En dat zowel in gemiddelde als in uitdagende gebruikersscenario’s.
Phi-4 is nu beschikbaar op Azure AI Foundry onder een Microsoft Research License Agreement (MSRLA). Volgende week zal Microsoft het ook vrijgeven op Hugging Face.
Tip: Fietje: klein Nederlandstalig AI-model dat op een telefoon kan draaien