Hoe interpreteer je de resultaten van de MITRE ATT&CK evaluatie?

Insight: Security

Hoe interpreteer je de resultaten van de MITRE ATT&CK evaluatie?

De ene detectie is de andere niet, hou daar rekening mee bij de keuze voor cybersecurity tools.

Organisaties die hun security posture willen verbeteren, hebben de keuze uit een enorm breed aanbod aan oplossingen. De cybersecuritymarkt is een zeer versnipperde. Dat zorgt ervoor dat er voor zowel best-of-breed als best-of-suite benaderingen veel aanbod is. Als beslisser binnen een organisatie is het echter niet te doen om hier zelf goed overzicht over te hebben en houden. Je hebt daar hulpmiddelen bij nodig.

Een van de meest gangbare hulpmiddelen is ongetwijfeld de beoordeling van leveranciers door de bekende analistenfirma’s. Wie wordt aangemerkt als leider en gepositioneerd in een magisch kwadrant, een golf of nog iets anders? Dit kan wellicht helpen om tot een shortlist te komen, al zouden wij zelf altijd aanraden om toch ook goed naar andere aanbieders te kijken. Wat het in ieder geval niet doet, is daadwerkelijk inzicht geven in hoe de oplossingen zich tot elkaar verhouden in de praktijk. Dat wil zeggen, hoe houden de oplossingen zich bij een echte aanval? Dat is waar de MITRE ATT&CK evaluaties om de hoek komen kijken. Wij spraken over de meest recente evaluatie met Andre Noordam, Senior Director of Sales Engineering EMEA bij SentinelOne. Waar moet je als organisatie op letten in de uitkomsten van deze evaluatie?

Combinatie van aanvallen

Het doel van de evaluaties van MITRE is om te testen hoe goed cybersecurity-oplossingen beschermen tegen echte aanvallen. Dit jaar is er gekozen voor malware van twee hackersgroepen, Sandworm en Wizard Spider. De eerste is gericht op het vernietigen en exfiltreren van data, de tweede is wat je een traditionele ransomware zou kunnen noemen. Daarbij gaat het dus om het gijzelen van data, die tegen betaling weer ontsleuteld wordt.

Het is vanzelfsprekend de bedoeling dat de EDR-oplossingen die meedoen aan deze test zoveel mogelijk detecteren. Daarnaast speelt ook de manier waarop dit gebeurt een rol. Zo wordt ook bijgehouden hoeveel wijzigingen in de configuratie nodig zijn om de detecties te doen. Je moet het EDR-gedeelte zo configureren dat je gedurende de 48 uur die de test doet over de 109 stappen waarin deze is onderverdeeld, niet in mag grijpen. Is dat wel noodzakelijk om een hogere score te halen, dan maakt MITRE daar een notitie van. Volgens Noordam ligt daar niet altijd voldoende nadruk op. Dat is niet terecht volgens hem, want minder config changes zijn altijd beter.

Een tweede volgens Noordam wat onderbelichte component van de tests is het aantal zogeheten delayed detections. Dat is het geval als het meer dan een paar minuten duurt om de malware te detecteren. Dit is doorgaans het gevolg van een mens of een cloudomgeving die een oordeel moet vellen over wat de EDR-software detecteert. Op het gebied van cybersecurity geldt de oude 0611-wijsheid dat elke seconde telt. Dus een vertraging van meer dan enkele minuten is dan zeker niet wenselijk.

Het is overigens zeker niet allemaal EDR wat de klok slaat bij de MITRE ATT&CK evaluatie van dit jaar. Evenals vorig jaar zit er ook nu weer een preventiecomponent in. Dat is immers altijd beter dan detecteren. Hoe eerder je een bedreiging afvangt, hoe beter het is.

Transparantie

MITRE werkt op een behoorlijk transparante manier. Het geeft duidelijk aan wat er getest is en hoe de deelnemende leveranciers het doen in die tests. Wat het niet doet, is daar een oordeel aan verbinden. Met andere woorden, de organisatie schrijft zelf geen rapporten met conclusies waarin de ene leverancier boven de ander geplaatst wordt. Dat is aan de ene kant te prijzen, want op deze manier kunnen ze geen vooringenomen beeld schetsen. Aan de andere kant nodigt dit de securityleveranciers uit om zelf met conclusies te komen. En die zijn onherroepelijk bevooroordeeld natuurlijk.

Het is natuurlijk sowieso de vraag of je een winnaar aan kunt wijzen bij een evaluatie zoals die MITRE uitvoert. Noordam ziet dan ook vooral dat MITRE ervoor zorgt dat de markt als geheel er beter van wordt. De verschillen in de evaluaties worden steeds kleiner, is zijn conclusie. Het maakt het er natuurlijk niet eenvoudiger op om de beste te kiezen, dat realiseert hij zich ook. Een echte winnaar is dan ook vrijwel niet aan te wijzen. SentinelOne staat dit jaar evenals vorig jaar echter stijf bovenaan in de resultaten, met een score van 100 procent preventie en detectie, zonder delayed detections. Dat lijkt ons toch wel wat kenmerken te hebben van een winnaar.

Het gaat om analytic detections

Met de totaalscores van de deelnemers aan de test zijn we er echter nog niet. Sterker nog, je hebt dan nog niet eens het halve verhaal te pakken. Noordam legt tijdens ons gesprek meerdere keren de nadruk op het type detectie. Dat moet volgens hem een belangrijke rol spelen bij de interpretatie van de testresultaten. Je moet dus echt wat meer inzoomen op de resultaten.

Er zijn twee algemene typen detectie, gaat Noordam verder. Je hebt detecties die in de categorie telemetrie vallen en zogeheten analytic detections. Die laatste categorie valt dan weer uiteen in drie subcategorieën: general, tactic, technique. Bij telemetrie detecteert een EDR-oplossing wel iets, bijvoorbeeld via een hash, maar is het onduidelijk wat het nu precies detecteert. Dit soort detecties zijn zeker niet waardeloos, maar vergen heel veel mankracht om verder te ontwikkelen.

Bij analytic heb je vanaf het begin meer inzicht in de dreiging. Bij general is dat nog niet heel veel, maar als je detecteert hoe de aanval technisch werkt, kun je vrijwel meteen actie ondernemen. Idealiter wil je dus zoveel mogelijk van die laatste typen detectie hebben, maar in ieder geval zoveel mogelijk analytic detecties. Dat zorgt ook voor een zo laag mogelijke druk op de securityteams van organisaties. Die kunnen zich dan met alleen de meest kritieke dreigingen bezighouden. SentinelOne scoort ook op het gebied van analytic detections heel erg goed.

Van 109 naar 9 meldingen

Een laatste onderdeel bij een test zoals de MITRE ATT&CK evaluatie is hoe handzaam de resultaten worden gepresenteerd. Detecteren is de eerste stap van het proces, daarna moeten de mensen die verantwoordelijk zijn voor de beveiliging van de (digitale) omgeving van een organisatie er ook nog iets mee. Als dan alles in een grote brij van meldingen binnenkomt, is de kans groot dat er nog behoorlijk wat gemist wordt. Met andere woorden, het is zaak om de meldingen die afkomstig zijn van de 109 losse detecties niet een op een door te zetten. Daar moet de EDR-oplossing eerst zelf orde in aanbrengen.

Op dit punt komt het wat ons betreft meest onderscheidende kenmerk van SentinelOne om de hoek kijken. Dat is de Storyline-functionaliteit. Deze maakt het mogelijk om correlaties te maken en zaken samen te voegen. SentinelOne gaat in het geval van de MITRE ATT&CK evaluatie dankzij Storyline van 109 naar slechts 9 meldingen. Je krijgt dus een maximaal overzicht van de dreiging middels een minimaal aantal alerts, vat hij samen. Deze stap van data naar informatie is uiteindelijk de belangrijkste in het hele proces. Heb je dat goed voor elkaar als organisatie, dan kun je snel reageren op (potentiële) dreigingen.

100 procent veilig ben je in principe natuurlijk nooit, maar je kunt wel je best doen om daar zo dicht mogelijk bij in de buurt te komen. De uitkomsten van de MITRE ATT&CK evaluatie kunnen organisaties hierbij goed helpen. Je moet ze echter wel kunnen interpreteren. Na het lezen van dit artikel lukt dat hopelijk weer een stukje beter.