Na DataOps, DevOps nu ook ModelOps

Stay tuned, abonneer!

Gecontroleerd in gebruik nemen is noodzakelijk om zo snel mogelijk waarde te halen uit Machine Learning en AI toepassingen

Steeds meer organisaties vertrouwen op het gebruik van geavanceerde Machine Learning (ML) en Artificial Intelligence (AI) modellen om enorme hoeveelheden data om te zetten in nieuwe inzichten en direct toepasbare informatie. Deze geavanceerde modellen worden niet beperkt door de hoeveelheid datapunten en kunnen veel gestructureerde en ongestructureerde data analyseren voor het identificeren van patronen ten behoeve van voorspellende inzichten.

Maar modelontwikkeling en -implementatie zijn complex. Slechts de helft van de ontwikkelde modellen wordt in productie genomen en het duurt zo maar een paar maanden voordat de modellen zijn geïmplementeerd. Deze tijd en inspanning staan gelijk aan reële operationele kosten en betekenen ook een langere ‘time-to-value’.

Daarnaast vermindert de kwaliteit van modellen als ze niet regelmatig worden gemonitord. Dit gaat ten koste van de prestaties. Modellen zijn net als auto’s; om de kwaliteit van de prestaties te waarborgen, moet je regelmatig onderhoud plegen. De prestaties van een model zijn niet alleen afhankelijk van de modelontwikkeling, maar ook van de data, fine-tuning, regelmatige updates en re-training.

Als 50% van de modellen nooit in productie komt, en de modellen in productie hun waarde op  termijn verliezen, wat kun je dan doen om dit percentage significant omhoog te krijgen?

Introductie van…ModelOps

Wat bedoelen we precies met ModelOps? ModelOps is voor modelontwikkeling wat DevOps is voor softwareontwikkeling. Het betreft een cyclische benadering, hoe analytische modellen van het data science-team eenvoudig door het IT-productieteam in productie kunnen worden genomen, via een periodiek en gecontroleerd patroon van uitrol en updates. ModelOps bevat onder andere het eenvoudig registreren, aanpassen, publiceren, scoren, monitoren, controleren van en rapporteren over de analytische modellen via een eenvoudig te gebruiken grafische gebruikersinterface.

Drie veelvoorkomende problemen die worden aangepakt met ModelOps

Zoals eerder aangegeven, verliest een analytisch model na verloop van tijd zijn waarde door de verminderde accuratesse en kwaliteit. Hieronder vind je enkele veel voorkomende issues die daar aan bijdragen – die je vrijwel zeker zult tegenkomen.

  1. Kwaliteit van de gegevens

Subtiele veranderingen in de data die onopgemerkt blijven of minder effect hebben op sommige traditionele analysemethoden kunnen een groter effect hebben op de nauwkeurigheid van machine learning modellen.

Als onderdeel van de ModelOps-inspanningen is het belangrijk om de databronnen en -variabelen die je voor je modellen gebruikt goed te beoordelen, zodat je antwoord kunt geven op deze vragen:

Welke data ga je gebruiken?

  • Is de gebruikte input data direct of indirect in strijd met regelgeving?
  • Voel je je comfortabel om je klanten te informeren dat er een beslissing is genomen op basis van deze data?
  • Hoe wordt model bias aangepakt?
  • Hoe vaak wordt nieuwe data toegevoegd of gewijzigd?
  • Hoe ga je de afgeleide data in productie gebruiken?
  • Doorlooptijd van ontwikkeling naar het in productie brengen (deployment)

Omdat de ontwikkelings/deployment-cyclus lang kan zijn, analyseer je allereerst de duur van de hele levenscysclus voor jouw organisatie, en stel je vervolgens benchmarks vast om hiermee de verbetering in het proces te kunnen meten. Verdeel het proces in kleine stappen, meet en vergelijk vervolgens de verschillende projecten om de goede en slechte ervaringen in kaart te brengen. Overweeg ook Model Management-software die je kan helpen bij het automatiseren van repetitieve taken.

  • Verslechteren model performance

Wees je bewust van de invloed van bias en overfitting op de kwaliteit van je modellen, en zorg ervoor dat er een duidelijke visie en aanpak is van model governance binnen de organisatie. Als iedereen in de organisatie, van modelontwikkelaars, data scientists tot gebruikers, zich verantwoordelijk voelt voor de prestaties van de modellen, kunnen deze problemen worden aangepakt voordat ze de bedrijfsresultaten beïnvloeden.

Wanneer moeten de modellen nu worden aangepast?

Het moeilijkste aspect van het gebruik van machine learning modellen is het behoud van precisie. Het betekent altijd zoeken naar nieuwere, betere data om de nauwkeurigheid te verbeteren.

Is er een standaardschema dat je kunt instellen voor het re-trainen van alle modellen die onder de vastgestelde nauwkeurigheidsdrempels vallen? Het eenvoudige antwoord is “nee”. De reden?
Een van de redenen is dat de modellen op verschillende manieren de nauwkeurigheid verliezen. Een andere reden is dat de behoefte aan precisie afhangt van wat je probeert te bereiken, te voorspellen.
Bijvoorbeeld, waar het risico van een onnauwkeurige voorspelling kostbaar of gevaarlijk is, dan moet het model mogelijk continu worden bijgewerkt.

ModelOps negeren is riskant

De voorspellende kracht van analytische modellen, in combinatie met de beschikbaarheid van grote hoeveelheden data en de toenemende rekenkracht, zal een concurrentievoordeel blijven voor slimme, datagedreven organisaties. Wie er niet in slaagt om ModelOps te omarmen, staat voor steeds grotere uitdagingen bij het in productie brengen en opschalen van machine learning en AI-initiatieven en brengt simpelweg zijn concurrentiepositie in het geding.

Dit is een ingezonden bijdrage van Rein Mertens, Head of Customer Advisory SAS Platform. Via deze link vind je meer informatie over de mogelijkheden van het bedrijf.