#1
Claude Opus 4.6 (esfuerzo alto)
Ejecución de Microsoft, mismo entorno para las 16 configuraciones (mar. 2026)
0.637
CTI-REALM: benchmark de detección de Microsoft
CTI-REALM es el benchmark de Microsoft para agentes de IA que convierten inteligencia de amenazas en reglas de detección. Cómo funciona CTI-REALM y quién lo lidera a octubre de 2026.
SecurityUpdated 2026-10-30
What It Measures
CTI-REALM (Cyber Threat Real World Evaluation and LLM Benchmarking) es el benchmark de código abierto de Microsoft para la ingeniería de detección, el trabajo de convertir un informe de amenazas en reglas que detecten el ataque en telemetría real. Se publicó en marzo de 2026 (arXiv 2603.13517) y reproduce lo que hace un ingeniero de detección de un SOC: leer el informe de inteligencia de ciberamenazas (CTI), mapearlo a técnicas de MITRE ATT&CK, encontrar las fuentes de datos adecuadas, escribir y probar consultas, y entregar una detección operativa.
De los benchmarks de seguridad públicos, es el más cercano al trabajo diario de un defensor. Una puntuación alta significa que el agente puede llevar una detección desde el informe hasta una regla desplegable.
How It Works
El agente trabaja en un sandbox con telemetría de ataque auténtica procedente de ataques emulados en Linux, Kubernetes (AKS) y registros de nube, además de bases de datos de referencia de técnicas MITRE y reglas Sigma. Debe producir tanto una regla Sigma como una consulta KQL ejecutable (Kusto Query Language, usado por Microsoft Sentinel y Azure Data Explorer).
La puntuación es una recompensa entre 0 y 1 construida a partir de puntos de control a lo largo del proceso: comprobaciones deterministas de las técnicas y fuentes de datos identificadas, F1 para saber si la detección se activa en los eventos correctos, y un juez LLM (GPT-5-Mini en el artículo) para la calidad de la alineación con el informe y de la regla Sigma, con una muestra de las salidas del juez revisada por investigadores de seguridad. El benchmark también está disponible en la colección inspect_evals del UK AI Security Institute, así que cualquiera puede ejecutarlo con un modelo nuevo.
Current Leaders
#2
Claude Opus 4.5
Ejecución de Microsoft (mar. 2026)
0.624
#3
Claude Sonnet 4.5
Ejecución de Microsoft (mar. 2026)
0.587
#4
GPT-5 (esfuerzo medio)
Ejecución de Microsoft; GPT-5.2 con esfuerzo medio también obtuvo 0.572
0.572
#5
GPT-4.1
Ejecución de Microsoft; la configuración más eficiente en tokens, unos 120,000 tokens por tarea
0.419
Qué modelo encaja en cada tarea de seguridad: Mejor LLM para ciberseguridad (octubre de 2026)
How to Interpret Scores
Microsoft evaluó 16 configuraciones de modelos, todas de Anthropic y OpenAI. Claude Opus 4.6 con esfuerzo de razonamiento alto lideró con una recompensa de 0.637, seguido de Opus 4.5 con 0.624 y Sonnet 4.5 con 0.587. Los mejores resultados de OpenAI fueron GPT-5 y GPT-5.2 con esfuerzo medio, ambos con 0.572, y GPT-4.1 obtuvo 0.419.
El coste por tarea varía tanto como la puntuación. GPT-4.1 usó unos 120,000 tokens por tarea, GPT-5 con esfuerzo bajo unos 179,000 para una recompensa de 0.541, y los modelos de Anthropic entre unos 442,000 y 524,000. El artículo también encontró que dotar a un modelo más pequeño de memoria de flujo de trabajo cerró el 33% de la brecha entre GPT-5-Mini y GPT-5, con la mayor ganancia en el mapeo de técnicas MITRE, una señal de que el conocimiento de la tarea puede compensar parte de la brecha que abre el tamaño del modelo.
A 30 de octubre de 2026, ningún modelo de pesos abiertos tiene un resultado publicado en CTI-REALM. Como el benchmark se ejecuta en inspect_evals, cualquiera con un modelo abierto y el entorno de telemetría puede cerrar ese hueco, y es el lugar más claro para comprobar si un modelo abierto del tamaño adecuado, entrenado para tareas de detección, puede acercarse a las filas de frontera.
Related Resources
Ejecuta modelos de detección con tu propia telemetría
Desplegamos modelos GLM, Kimi y Qwen para equipos de seguridad en infraestructura que gestionamos, en tu propio tenant de nube o en tus instalaciones, de modo que la telemetría se mantiene privada y los costes de uso se vuelven más predecibles.
Agenda una llamada