ARC-AGI

What It Measures

ARC-AGI (Abstraction and Reasoning Corpus, variante Artificial General Intelligence) es un benchmark de acertijos de reconocimiento de patrones visuales diseñado por François Chollet para evaluar la inteligencia fluida: la capacidad de resolver problemas novedosos sin depender de patrones memorizados. Cada problema proporciona algunos ejemplos de pares entrada-salida de una transformación visual; el modelo debe inferir la regla de transformación y aplicarla a una nueva entrada. Las transformaciones están diseñadas para ser resolubles por humanos (la línea base humana típica es de ~80%), pero resistentes a la memorización o al pattern-matching a partir de los datos de entrenamiento.

La familia de benchmarks ha evolucionado a través de varias versiones: ARC original (que ahora se considera resuelto por modelos de frontera con un andamiaje extenso), ARC-AGI-2 (estándar actual, diseñado para ser más difícil) y ARC-AGI-3 (la versión más reciente, con dificultad mantenida). El benchmark se posiciona como una medida de capacidad que se transfiere genuinamente a problemas novedosos, en lugar de capacidad obtenida por exposición a datos de entrenamiento — convirtiéndolo en un complemento particularmente útil para benchmarks que pueden sufrir contaminación.

How It Works

Cada problema proporciona de 2 a 5 pares entrada-salida de ejemplo que muestran una transformación visual, y luego una entrada de 'prueba'. El modelo debe producir la salida de prueba correcta. Las transformaciones implican operaciones como reflexión, rotación, sustitución de colores, reconocimiento de formas, conteo y diversas combinaciones de estas. La puntuación es el porcentaje de problemas en los que el modelo produce la salida exactamente correcta.

La mayoría de las evaluaciones actuales de ARC-AGI implican un andamiaje sustancial alrededor del modelo: agentes de generación de código que producen programas en Python que implementan la transformación, múltiples estrategias de muestreo, agentes verificadores y enfoques similares. Las puntuaciones reportadas suelen incluir la contribución del andamiaje; las puntuaciones del modelo puro sin andamiaje son sustancialmente más bajas. Los organizadores de ARC Prize mantienen un ranking público de rendimiento humano vs. modelo con varios conjuntos de reglas.

Current Leaders