#1
XekRung-1.5-27B-Preview
Enviado por Alibaba Security (sept. 2026), ajustado a partir de Qwen3.8-27B según quien lo envió; entrada centrada en el modelo
88.9%
CyberGym: tabla de clasificación y explicación
CyberGym comprueba si los agentes de IA pueden reproducir 1,507 vulnerabilidades reales. Cómo funciona, por qué las puntuaciones cercanas al 99% requieren cuidado y la tabla de CyberGym a octubre de 2026.
SecurityUpdated 2026-10-30
What It Measures
CyberGym, de UC Berkeley, mide si un agente de IA puede trabajar con vulnerabilidades reales en grandes bases de código. Contiene 1,507 instancias construidas a partir de vulnerabilidades históricas en 188 proyectos de software, todas encontradas por OSS-Fuzz, el servicio de fuzzing continuo de Google. La tabla de clasificación principal (Nivel 1) le da al agente la descripción de una vulnerabilidad y la base de código sin parchear, y le pide producir una entrada de prueba de concepto que active el fallo.
Es uno de los benchmarks de seguridad más citados de 2026, utilizado en las system cards de OpenAI, Anthropic y Google DeepMind. Los defensores lo leen como una medida, hecha por terceros, de lo bien que un modelo razona sobre código real con la profundidad que requiere el trabajo con vulnerabilidades, que es la misma profundidad que requieren la validación de parches y el triaje.
How It Works
Cada tarea se sitúa en el commit inmediatamente anterior a la corrección. El agente lee la base de código, que puede llegar a miles de archivos, escribe una prueba de concepto, la ejecuta y la refina a partir de la retroalimentación de la ejecución. Una tarea cuenta como resuelta cuando la prueba de concepto activa la vulnerabilidad en la versión anterior al parche y deja de activarla en la versión parcheada.
La tabla separa las entradas centradas en el modelo, en las que un laboratorio reporta su modelo con un agente estándar, de las entradas centradas en el agente, en las que un equipo construye su propio sistema (a menudo con varios modelos, una imagen Docker vulnerable contra la que probar o una base de conocimiento actualizada durante la ejecución). Los resultados los envían los propios equipos, y el sitio advierte que las ejecuciones son estocásticas y que las diferencias modestas de puntuación pueden no reflejar diferencias reales de capacidad.
Current Leaders
#2
Gemini 3.8 Flash Cyber
Enviado por Google (sept. 2026)
86.3%
#3
ASL-Cyber-Flash
Enviado por Aeye Security Lab (sept. 2026), ajustado a partir de DeepSeek-V4-Flash, probado contra una imagen Docker vulnerable
85.9%
#4
GPT-5.5-Cyber
Enviado por OpenAI (jun. 2026)
85.6%
#5
GLM-5.3
Cifra propia de Z.ai (ago. 2026); la ejecución independiente de Proximal midió 82.8%, y 93.5% en su conjunto de tareas corregido
84.5%
Qué modelo encaja en cada tarea de seguridad: Mejor LLM para ciberseguridad (octubre de 2026)
How to Interpret Scores
A 30 de octubre de 2026, los sistemas de agentes ocupan la parte alta de la tabla, encabezados por TuLongFeng de Qihoo 360 con un 99.4%. Entre las entradas centradas en el modelo, la primera fila es XekRung-1.5-27B-Preview con un 88.9%, que quien lo envió, Alibaba Security, describe como ajustado a partir de Qwen3.8-27B. Dos de las tres primeras filas de modelos son versiones ajustadas de modelos abiertos, según las descripciones de quienes las enviaron. Todos estos resultados son autoenviados.
El benchmark está cerca de la saturación. Proximal ejecutó cuatro modelos en un mismo harness (30 de septiembre de 2026), encontró tareas que el evaluador puntuaba mal, retiró 227 de las 1,507 y volvió a puntuar. Kimi K3 subió de 81.9% a 95.6%, GLM-5.3 de 82.8% a 93.5%, GPT-5.6 Sol de 80.7% a 91.1% y Claude Fable 5.1 (con Opus 5 como respaldo) de 81.0% a 87.8%. Proximal ejecutó los modelos cerrados con sus salvaguardas de ciberseguridad estándar desactivadas, de modo que la comparación mide la capacidad sin que intervengan los rechazos. Ten en cuenta que la cifra propia de Z.ai para GLM-5.3 en el benchmark original es 84.5%, mientras que Proximal midió 82.8%; cita la fuente junto con el número.
La conclusión para los defensores: los modelos grandes de pesos abiertos están a la par o por delante de los mejores modelos cerrados en esta tarea, en una ejecución independiente con un mismo harness. Con puntuaciones tan cerca del techo, las pequeñas diferencias entre las primeras filas significan poco.
Related Resources
Ejecuta modelos abiertos con tus propios datos de seguridad
Desplegamos modelos GLM, Kimi y Qwen para equipos de seguridad en infraestructura que gestionamos, en tu propio tenant de nube o en tus instalaciones. Tu código y tu telemetría se mantienen privados, y los costes de uso se vuelven más predecibles.
Agenda una llamada