MMLU-Pro

What It Measures

MMLU-Pro es un sucesor más difícil y riguroso del benchmark original Massive Multitask Language Understanding (MMLU). Cubre las mismas 57 áreas temáticas — desde matemáticas elementales hasta derecho profesional o medicina clínica — pero con varias modificaciones diseñadas para hacer el benchmark más discriminativo en la frontera: las preguntas tienen 10 opciones de respuesta en lugar de 4 (reduciendo la línea base de adivinación aleatoria), se incluyen más preguntas intensivas en razonamiento y el banco de preguntas ha sido cuidadosamente curado para reducir los problemas de contaminación que afectaban al MMLU clásico.

MMLU-Pro es ahora el sustituto estándar del MMLU clásico en contextos de investigación y rankings. El MMLU clásico se considera saturado: los modelos de frontera obtienen puntuaciones del 90%+ y las diferencias entre los mejores modelos están dentro del ruido. MMLU-Pro extiende lo suficiente la tabla como para ofrecer una diferenciación significativa, y el formato más difícil lo hace más representativo de la capacidad real de razonamiento.

How It Works

Cada pregunta es un problema de opción múltiple de una de las 57 áreas temáticas, con 10 opciones de respuesta (de la A a la J). Los modelos se puntúan por el porcentaje de preguntas que responden correctamente. La puntuación se reporta normalmente como una única puntuación compuesta a través de todas las áreas temáticas, aunque las puntuaciones por materia pueden revelar fortalezas interesantes específicas de cada modelo.

El formato de 10 opciones tiene dos efectos: reduce la línea base de adivinación aleatoria del 25% al 10% y hace que las preguntas sean más difíciles al exigir que el modelo discrimine entre más distractores plausibles. Ambos efectos hacen de MMLU-Pro una evaluación más discriminativa en el extremo alto del espectro de capacidad.

Current Leaders