AI-modellen kunnen nauwkeurig voorspellingen doen. Met de open source UQ-toolkit van IBM is nu te meten hoe zeker modellen over bepaalde zaken zijn.
Als een zelfrijdende auto bijvoorbeeld de zijkant van een bus verkeerd identificeert, bijvoorbeeld als heldere lucht, en weigert te remmen of de bestuurder te waarschuwen, kunnen en de gevolgen fataal zijn. Zulke ongelukken zijn al gebeurd.
Daarom oppert IBM nu dat we AI betrouwbaarder kunnen maken door ze de mogelijkheid te geven hun eigen onzekerheid uit te drukken. Hiervoor heeft IBM de Uncertainty Quantification (UQ) 360-toolkit gemaakt en per vandaag beschikbaar gesteld aan de open source-gemeenschap.
De UQ-toolkit is ontworpen om de veiligheid van AI-modellen te vergroten als ze ergens niet zeker van zijn. Het is een verzameling algoritmen die kunnen worden gebruikt om de onzekerheid van een AI-model te kwantificeren. Het biedt ook mogelijkheden om onzekerheidskwantificering te meten en te verbeteren om ontwikkelingsprocessen te stroomlijnen, evenals taxonomie en begeleiding om ontwikkelaars te helpen kiezen welke mogelijkheden geschikt zijn voor specifieke modellen.
Uncertainty Quantification
Het onderliggende model, de taak die deze moet uitvoeren, de kenmerken van de data en het doel van de gebruiker: dat zijn zomaar een aantal van de factoren die bepalen hoe betrouwbaar een UQ-methode is. Soms levert een gekozen UQ-methode geen hoogwaardige onzekerheidsschattingen op en kan deze gebruikers misleiden. “Daarom is het cruciaal voor modelontwikkelaars om altijd de kwaliteit van UQ te evalueren en, indien nodig, de kwantificeringskwaliteit te verbeteren, voordat een AI-systeem wordt ingezet,” zegt IBM.
De UQ 360-toolkit van IBM biedt tools voor kwantificering, meting en verbetering. Het biedt ook een reeks hulpmiddelen voor het communiceren van de onzekerheid die het kwantificeert. “Voor elk UQ-algoritme in het UQ 360 Python-pakket kan een gebruiker een geschikte communicatiestijl kiezen, door IBM’s op psychologie gebaseerde richtlijnen te volgen voor het communiceren van UQ-schattingen, van beknopte beschrijvingen tot gedetailleerde visualisaties,” legt het bedrijf uit.
UQ 360-toolkit is nu beschikbaar om te downloaden. IBM vraagt de gemeenschap om bij te dragen aan de ontwikkeling, om ervoor te zorgen dat AI-beoefenaars de beperkingen van hun algoritmen kunnen begrijpen en communiceren.
2 uur geleden
