CrowdStrike en Meta introduceren samen CyberSOCEval, een nieuwe suite van open source benchmarks om de prestaties van AI-systemen in security operations te evalueren. De samenwerking moet organisaties helpen effectievere AI-tools te selecteren voor hun Security Operations Center.
Meta en CrowdStrike pakken een groeiende uitdaging aan door CyberSOCEval te introduceren, een suite van benchmarks die helpen definiëren hoe effectieve AI eruitziet voor cyberdefensie. Het systeem is gebouwd op Meta’s open source CyberSecEval-framework en CrowdStrike’s threat intelligence van de frontlinie.
CyberSOCEval evalueert llm’s over kritieke security workflows zoals incident response, malware-analyse en threat analysis comprehension. Door AI-systemen te testen tegen een combinatie van echte aanvallers-tactieken en door experts ontworpen securityredeneringscenario’s, kunnen organisaties prestaties onder druk valideren en operationele gereedheid bewijzen.
Uitdaging voor cyberdefenders
Cyberdefenders staan voor een overweldigende uitdaging door de toevloed aan security alerts en evoluerende bedreigingen. Om tegenstanders voor te blijven, moeten organisaties de nieuwste AI-technologieën omarmen. Veel securityteams bevinden zich echter nog in een vroeg stadium van hun AI-reis, vooral bij het gebruik van Large Language Models (LLMs) voor het automatiseren van taken en het verhogen van efficiëntie in beveiligingsoperaties.
Zonder duidelijke benchmarks is het moeilijk te bepalen welke systemen, use cases en prestatiestandaarden daadwerkelijk een AI-voordeel bieden tegen echte aanvallen.
Praktische toepassing
Met deze benchmarks kunnen securityteams precies bepalen waar AI maximale waarde levert. Modelontwikkelaars krijgen een richtpunt voor het verbeteren van capaciteiten die ROI en SOC-effectiviteit verhogen.
De CyberSOCEval open source benchmark suite is nu beschikbaar voor de AI- en securitycommunity om modelcapaciteiten te evalueren. Toegang tot de benchmarks is mogelijk via Meta’s CyberSecEval-framework.
Deze nieuwe benchmarks zetten een nieuwe standaard voor hoe AI in de SOC moet worden gebouwd en ingezet, waardoor defenders voorop kunnen blijven lopen op tegenstanders.
Tip: CrowdStrike Falcon XDR integreert voortaan met Rubrik Security Cloud