IBM Research wil dat er een transparant document komt voor AI dat de lijn, specificaties en richtingen omschrijft. De onderzoekers van Big Blue schreven een paper waarin ze oproepen tot een zogeheten supplier’s declaration of conformity (SDoC) voor AI-diensten. Specifiek gaat het om informatie over prestaties, veiligheid en security.

De onderzoekers wijzen op andere industrieën waarin dergelijke documenten al bestaan. In de Verenigde Staten hebben ze bijvoorbeeld de Consumer Product Safety Commission, die waarschuwt voor onveilige producten. Het betreft wel vaak vrijwillige afspraken. De inspanningen worden echter vaak standaarden.

Inhoud

In zo’n transparant document zijn op het gebied van performance passende nauwkeurigheids- en risicomaatregelen opgenomen. De veiligheid gaat op zijn beurt in op uitlegbaarheid en algoritmische rechtvaardigheid. Dan is er er nog het onderdeel security, dat ingaat op robuustheid tegen aanvallen van buitenaf.

Het document vermeldt ook hoe de dienst gecreëerd, getraind en ingezet werd. Dit in combinatie met een omschrijving van de scenario’s waarop getest is, hoe de AI reageert op niet-geteste scenario’s en richtlijnen die specificeren voor welke taken de AI wel en niet ingezet wordt.

Vertrouwen

IBM denk bij een dergelijk SDoC aan een vrijwillig karakter. Dit zal volgens Big Blue leiden tot meer vertrouwen in AI. Er worden voorbeelden aangehaald: consumenten vertrouwen dat de remmen van een auto werken en dat de autopiloot van een vliegtuig goed functioneert. Dat vertrouwen komt voort uit standaardisatie, transparantie en testen. Zulk vertrouwen hebben consumenten momenteel nog niet in AI.

Het bedrijf noemt technische vooruitgang op het gebied van veiligheid en security noodzakelijk, maar niet genoeg om het vertrouwen in AI te winnen. De vooruitgang moet gepaard gaan met de mogelijkheid om de prestatieniveaus van de dienst te meten en communiceren. Een manier om dit te realiseren is het leveren van informatie via SDoC’s voor AI-diensten, concludeert IBM.