#1
Modelos de 2025, razonamiento sobre inteligencia de amenazas
Rango entre los modelos del artículo de Meta y CrowdStrike (sept. 2025); puntuaciones por modelo solo en sus figuras
43% a 53%
CyberSecEval 4: tabla de clasificación y guía
CyberSecEval 4 es la suite de benchmarks de seguridad de Meta, con CyberSOCEval para análisis de malware e inteligencia de amenazas. Qué evalúa y qué muestran las puntuaciones a octubre de 2026.
SecurityUpdated 2026-10-30
What It Measures
CyberSecEval 4 es la suite abierta de benchmarks de Meta sobre los riesgos y las capacidades de ciberseguridad de los modelos de lenguaje, publicada en su repositorio PurpleLlama. Se basa en CyberSecEval 3 y cubre dos lados. El lado de riesgos evalúa con qué frecuencia un modelo sugiere código inseguro, cómo maneja la inyección de prompts, si ayuda con solicitudes de ciberataques mapeadas a MITRE ATT&CK y cómo rinde en tareas ofensivas. El lado defensivo era nuevo en la versión 4.
Los benchmarks defensivos son la razón por la que la mayoría de los equipos de seguridad se fijan en la suite. CyberSOCEval, creado con CrowdStrike, evalúa dos tareas que un SOC realmente hace: el análisis de malware, en el que el modelo lee un informe de detonación en sandbox y responde preguntas sobre el comportamiento de la muestra, y el razonamiento de inteligencia de amenazas, en el que lee un informe de amenazas (incluidas sus imágenes) y extrae conclusiones de seguridad. AutoPatchBench, el tercer benchmark nuevo, evalúa si un agente puede parchear vulnerabilidades en código nativo.
How It Works
CyberSOCEval se puntúa como opción múltiple con varias respuestas correctas por pregunta, y una respuesta solo cuenta cuando selecciona exactamente el conjunto correcto. Eso mantiene baja la línea base del azar: alrededor del 0.63% en análisis de malware y alrededor del 1.7% en razonamiento de inteligencia de amenazas, según el artículo (Meta y CrowdStrike, arXiv 2509.20166).
Las preguntas se generaron con modelos Llama y después se filtraron, y los autores señalan esto como un posible sesgo a favor de Llama, ya que los términos de las API de terceros impedían usar otros modelos para la generación. Los informes de malware son largos, a menudo cerca o por encima de una ventana de contexto de 128,000 tokens, lo que convierte al benchmark en una prueba de lectura de documentos largos además de conocimiento de seguridad.
Current Leaders
#2
Modelos de 2025, análisis de malware
Mismo artículo y conjunto de modelos; responder al azar obtiene alrededor del 0.63%
23% a 34%
Qué modelo encaja en cada tarea de seguridad: Mejor LLM para ciberseguridad (octubre de 2026)
How to Interpret Scores
El artículo evaluó modelos de 2025 de OpenAI, Google, Anthropic, Meta y DeepSeek, abiertos y cerrados. Todos quedaron entre aproximadamente el 23% y el 34% en análisis de malware y entre aproximadamente el 43% y el 53% en razonamiento de inteligencia de amenazas, de modo que los modelos abiertos y cerrados quedaron agrupados, y las cifras por modelo solo aparecen en las figuras del artículo. Los autores encontraron que los modelos más grandes y recientes rendían mejor, que los modelos de razonamiento ganaban menos aquí que en programación y matemáticas, y que los modelos actuales están lejos de saturar la suite.
A 30 de octubre de 2026 no encontramos resultados publicados de 2026 en CyberSOCEval ni para modelos de frontera ni para modelos abiertos, así que los líderes que aparecen abajo son los rangos del artículo. Eso convierte a CyberSOCEval en una de las preguntas abiertas más claras de la IA defensiva: un benchmark con margen en la parte alta, construido a partir de trabajo real de un SOC, y sin puntuaciones actuales. Las filas de abajo cambiarán a medida que aparezcan resultados de 2026.
Related Resources
Pon un modelo abierto a trabajar con los informes de tu SOC
Desplegamos modelos GLM, Kimi y Qwen para equipos de seguridad en infraestructura que gestionamos, en tu propio tenant de nube o en tus instalaciones, de modo que los informes de malware y la inteligencia de amenazas se mantienen privados.
Agenda una llamada