Microsoft kondigt een grote update aan voor model-finetuning in Azure AI Foundry. Deze omgeving ondersteunde al modelaanpassingen, maar krijgt nu belangrijke verbeteringen, waaronder ondersteuning voor Reinforcement Fine-Tuning (RFT).
RFT is een nieuwe methode die gebruikmaakt van redeneren in stappen (chain-of-thought reasoning) en taakspecifieke beoordeling om de prestaties van modellen in specifieke toepassingsdomeinen te verbeteren.
OpenAI introduceerde het alfaprogramma voor RFT in december vorig jaar. Volgens vroege testers levert RFT een prestatieverbetering van 40% op ten opzichte van standaardmodellen zonder finetuning. Microsoft kondigde volgens Neowin aan dat RFT binnenkort beschikbaar zal zijn voor het o4-mini model van OpenAI in Azure AI Foundry.
RFT wordt vooral aanbevolen in situaties waarin besluitvormingsregels zeer specifiek zijn voor een organisatie en niet eenvoudig via statische prompts of klassieke trainingsdata vast te leggen zijn. Het stelt modellen in staat om flexibel en dynamisch te leren omgaan met regels die de complexiteit van de echte wereld weerspiegelen.
Ook is RFT geschikt voor scenario’s waarin interne procedures afwijken van gangbare industrienormen en waarin succes afhankelijk is van het volgen van die unieke standaarden. In zulke gevallen kan RFT procedurele variaties, zoals langere termijnen of aangepaste nalevingscriteria, effectief verwerken in het gedrag van het model.
Bovendien komt RFT goed tot zijn recht in domeinen met complexe besluitvorming, waarin de uitkomst afhangt van meerdere subgevallen of het wegen van verschillende variabelen. Het helpt modellen om te generaliseren in complexe situaties en zorgt voor consistentere en nauwkeurigere beslissingen.
Finetuning-optie binnenkort beschikbaar
Daarnaast kondigde Microsoft ondersteuning aan voor Supervised Fine-Tuning (SFT) van het nieuwe GPT-4.1-nano model van OpenAI, dat geschikt is voor toepassingen waarbij kostenbeheersing belangrijk is. Deze finetuning-optie zal binnen enkele dagen beschikbaar zijn.
Verder komt er ondersteuning voor het fine-tunen van Meta’s nieuwste Llama 4 Scout model met 17 miljard parameters. Dit model ondersteunt een contextvenster van 10 miljoen tokens en is beschikbaar via de beheerde rekencapaciteit van Azure. De fijn-afgestelde Llama-modellen zijn beschikbaar in Azure AI Foundry en ook als componenten binnen Azure Machine Learning.