Microsoft gebruikt unsupervised learning om data over storingen van clouddiensten te verzamelen. Volgens onderzoekers is het niet meer nodig om grote hoeveelheid trainingsdata te annoteren.
Gestructureerde data is zeer waardevol, vooral op het gebied van clouddiensten. Naast dat deze data kan worden gebruikt om AI-modellen te bouwen die gericht zijn op het beoordelen van urgentie (triage), is deze data ook nuttig voor het automatiseren van bepaalde processen voor engineers.
Het framework van SoftNER (kort voor Software artifact Named-Entity Recognition) verzamelt kennis door ongestructureerde data te ontleden, het opsporen van entiteiten in beschrijvingen en het categoriseren van deze entiteiten. Het framework identificeert structurele patronen in de beschrijvingen en past bootstrapping toe, evenals label propagation en een multitaskmodel om data te versimpelen.
Data de-noising
SoftNER begint elke run met data de-noising om de verzamelde data (beschrijvingen, shell scripts etc.) te ontdoen van nutteloze data en tags (zoals HTML-tags). Hierna worden deze beschrijving gesegmenteerd in zinnen en deze zinnen worden vervolgens omgezet in tokens.
Hierna voert de AI entity-tagging (probleemtypes, locaties etc.) en data-type tagging (voor IP-adressen, URL’s en meer) uit. Vervolgens worden deze waarden toegepast op soortgelijke entiteiten. Als het IP-adres ‘127.0.0.1’ wordt gelabeld als een ‘source IP’, worden alle gevallen van ‘127.0.0.1’ ook gelabeld als ‘source IP’.
96 procent accuraat
Onderzoekers hebben het AI-framework getest op 41.000 storingen bij Microsoft over een periode van twee maanden. De gemiddelde beschrijving had 472 woorden en het framework slaagde erin om van de 100 beschrijvingen er 77 geldige entiteiten uit te halen met een nauwkeurigheid van meer dan 96 procent. Volgens het onderzoeksteam is de AI nauwkeurig genoeg om als triage-tool te functioneren bij Microsoft.
Het team is van plan om SoftNER in de toekomst te gebruiken om meldingen van bugs te evalueren en om bestaande incidentrapportage- en managementtools te verbeteren. “Incidentmanagement is een belangrijk onderdeel van het bouwen en exploiteren van grootschalige clouddiensten,” schreven de onderzoekers in de paper. “We laten zien dat de verkregen kennis gebruikt kan worden voor het bouwen van nauwkeurigere modellen voor essentiële incidentmanagementtaken.”
10 uur geleden
