Evaluar un LLM de dominio específico: un método

La evaluación de un LLM de dominio específico mide si un modelo es suficientemente bueno en el trabajo de un campo, con ejemplos sacados de ese trabajo y puntuados con reglas fijadas antes de que nadie vea un resultado. Una evaluación sólida tiene cuatro partes: un conjunto reservado sacado del trabajo real, un protocolo congelado, umbrales de aprobación declarados de antemano y un intervalo de confianza en cada comparación. Esta guía recorre cada parte con el método de nuestro estudio QMSum (arXiv 2609.25028), en el que volvimos a puntuar o generamos 15 sistemas de resumen bajo un mismo protocolo.

QMSum es un benchmark público de resumen de reuniones guiado por consultas. Sus conclusiones se limitan a ese benchmark y a métricas automáticas. Esta guía lleva el método a otros campos, y las cifras del estudio siguen ligadas a QMSum.

¿Qué es la evaluación de un LLM de dominio específico?

Evaluar un LLM de dominio específico es probar un modelo con las entradas, las salidas y los casos de fallo de un campo, frente a referencias que un experto de ese campo aceptaría. Responde a una pregunta más concreta que un ranking: si este modelo, en este trabajo, supera el nivel que tu equipo necesita.

Existen benchmarks públicos por dominio, y marcan un mínimo útil. LegalBench (2023) reúne 162 tareas de razonamiento jurídico diseñadas y elaboradas a mano por profesionales del derecho. FinanceBench (2023) contiene 10.231 preguntas sobre empresas cotizadas; en una muestra de 150 casos, sus autores informan de que GPT-4-Turbo con un sistema de recuperación respondió mal o se negó a responder el 81% de las preguntas. Ambos se consultaron en su fuente el 29 de octubre de 2026. Un benchmark público dice cómo manejan los modelos un campo en general. Tu propio conjunto reservado dice cómo maneja un modelo tu trabajo.

¿Por qué los benchmarks generales no captan el rendimiento en un dominio?

Los benchmarks generales muestrean conocimiento amplio, y el trabajo de una empresa tiene sus propias entradas, formatos y casos límite. Raju et al. construyeron sus conjuntos de evaluación por dominio (2024) porque a los marcos generales que revisaron les faltaba diversidad en dominios como el derecho, la medicina y los contextos multilingües.

La forma de la entrada importa tanto como el tema. En el estudio QMSum, un especialista de resumen publicado por terceros perdió 6,30 puntos de ROUGE-1 cuando las mismas reuniones le llegaron como fragmentos recuperados de 2.000 palabras en lugar de la entrada larga con la que se entrenó, y entrenarlo con esos fragmentos recuperó la pérdida. Un modelo puntuado con entradas limpias de benchmark puede quedarse corto con las entradas que produce de verdad tu sistema, así que evalúa con las entradas tal como se sirven.

¿Cómo se construye un conjunto de evaluación de dominio?

Constrúyelo con trabajo real, haz que lo revisen expertos del campo y divídelo antes de que lo vea ningún modelo.

1. Saca ejemplos de producción. Registros, tickets, documentos y decisiones pasadas, con la forma en que los recibe tu sistema. Nuestra guía para crear un conjunto de evaluación a partir de conversaciones reales cubre la obtención y el etiquetado.
2. Cubre la mezcla y los casos difíciles. Ajusta la proporción de cada tipo de tarea a su peso en el tráfico y añade los casos raros que más cuestan cuando salen mal.
3. Haz que expertos del campo escriban o revisen las referencias. En un campo especializado, la respuesta de referencia es la parte cara, y la evaluación vale lo que valgan sus referencias.
4. Divide en validación y prueba. La validación guía cada decisión mientras construyes. El conjunto de prueba se puntúa una vez por cada sistema que presentes.
5. Mantenlo fuera del entrenamiento. Un ejemplo que llega a un conjunto de entrenamiento deja de medir.

¿Qué tamaño necesita un conjunto de evaluación de dominio?

El suficiente para que la diferencia que te importa supere el ruido, que suele ser mayor de lo que los equipos esperan. El artículo de QMSum lo midió directamente sobre un conjunto de prueba de 281 consultas.

Con 50 ejemplos, el azar por sí solo podría reordenar la mayoría de los sistemas contiguos de la tabla de resultados del estudio. Con el conjunto completo, las diferencias por debajo de un punto de ROUGE-1 eran indetectables, y el artículo llama a eso el umbral de detección del benchmark. Aplica bootstrap a tus propias puntuaciones para encontrar el umbral de tu conjunto y dimensiónalo según la diferencia más pequeña que necesites ver.

¿Qué significa un protocolo congelado?

Un protocolo congelado fija todos los ajustes que pueden mover una puntuación antes de la primera comparación, para que los resultados reflejen los modelos y dejen fuera las decisiones de quien evalúa. En el estudio QMSum, un módulo versionado fijaba la semilla aleatoria, el límite de longitud de generación, el método de decodificación, los ajustes de recuperación y el prompt. Una prueba en el código publicado comprueba el prompt byte a byte, de modo que una copia alterada falla antes de producir un resultado.

Dos reglas mantuvieron limpio el conjunto de prueba. La validación guió cada selección, y cada sistema presentado tocó el conjunto de prueba una sola vez. El sistema promovido se apartó del protocolo congelado en un punto, su ventana de recuperación y su presupuesto de fragmentos, y el artículo señala esa desviación e informa tanto de la fila que sigue el protocolo al pie de la letra (33,39 de ROUGE-1) como de la fila promovida (35,41).

Para tu propia evaluación, escribe el protocolo, versiónalo junto con el conjunto de evaluación y trata cualquier cambio como un protocolo nuevo.

¿Cómo deben fijarse los umbrales de aprobación?

Decláralos antes de puntuar: la métrica, el margen que debe superar un modelo nuevo y las regresiones que lo bloquean sea cual sea la media. Un umbral fijado después de ver los resultados se inclina hacia lo que dijeron los resultados.

Fija cada margen por encima del ruido que hayas medido. En el estudio QMSum, cambiar solo la semilla de entrenamiento movió el ROUGE-1 de validación 1,59 puntos, lo bastante para borrar por sí solo una mejora de configuración que el artículo había medido. Un margen de aprobación menor que ese rango dejaría pasar una ejecución de entrenamiento afortunada. Un buen punto de partida es un margen por encima del umbral de detección de tu conjunto y de tu rango de semillas, con un conjunto de regresión aparte, hecho de fallos pasados, que debe seguir aprobando.

¿Cómo sabes que una diferencia es real?

Da un intervalo de confianza en cada comparación y trata como no resuelto cualquier intervalo que cruce el cero. El artículo de QMSum usa un bootstrap pareado: remuestrea las consultas de prueba con reemplazo 10.000 veces, puntúa los dos sistemas sobre la misma remuestra y toma los percentiles 2,5 y 97,5 de la diferencia. El emparejamiento cancela la dificultad compartida de cada consulta, así que el intervalo es más estrecho que si se comparan dos medias por separado.

Tres matices importan en la práctica:

• Remuestrea por grupos cuando los ejemplos comparten origen. Las 281 consultas de prueba de QMSum proceden de 35 reuniones, y remuestrear reuniones completas ensanchó los intervalos. Un especialista más pequeño obtuvo 36,33 de ROUGE-1 frente a los 35,41 de nuestro sistema, y el intervalo por reuniones para esa diferencia, de -0,27 a +2,22, cruza el cero, así que el benchmark no puede separar los dos.
• Añade a mano la varianza del entrenamiento. Un bootstrap sobre consultas no dice nada de cómo puntuaría otra semilla de entrenamiento, y por eso el rango de semillas citado arriba debe acompañar a cada margen.
• Retira las afirmaciones que no superan la prueba. Un margen anterior de +0,96 de ROUGE-1 frente a un modelo alojado se eliminó del artículo cuando su intervalo, de -0,30 a +2,24, cruzó el cero.

¿Qué debe medir una evaluación de dominio?

Mide el resultado que necesita el negocio y luego comprueba que la longitud o el estilo no pueden inflar la métrica. El estudio QMSum muestra por qué. Cinco modelos propietarios alojados se ejecutaron sin ejemplos (zero-shot) con un mismo prompt conciso, y con una métrica de solapamiento con la referencia un especialista publicado superó a cada uno de ellos por al menos 6,2 puntos de ROUGE-1. El artículo limita esa ordenación: los modelos alojados escribieron salidas más largas, y no se hizo ninguna evaluación humana ni de factualidad. Una métrica de solapamiento con la referencia premia que la salida se parezca en longitud a la referencia, así que la evaluación de respuestas abiertas necesita una comprobación de longitud y una revisión experta o de factualidad a su lado.

Los jueces basados en LLM tienen sus propios sesgos. Zheng et al., en "Judging LLM-as-a-Judge" (2023), describen sesgos de posición, de verbosidad y de autopromoción, junto con más de un 80% de acuerdo con las preferencias humanas en los jueces más capaces. EvalSense (febrero de 2026) añade herramientas automáticas de metaevaluación que miden la fiabilidad de distintos enfoques de evaluación con datos perturbados, probadas con notas clínicas. Compara un juez con etiquetas de expertos sobre tus propios ejemplos antes de fiarte de él.

La última fila pertenece a la evaluación porque decide si un modelo que aprueba merece ponerse en servicio. Un modelo entrenado baja el coste por dos frentes, un precio por token más bajo y menos tokens por tarea, y la calculadora de coste por tarea (en inglés) pone ambos junto al resultado de calidad.

¿Cómo controla una evaluación el lanzamiento de un modelo?

Una vez fijados el conjunto, el protocolo y los umbrales, la evaluación se convierte en el filtro que debe superar cada versión nueva del modelo. Una candidata se puntúa con el conjunto congelado, se compara con el modelo en servicio mediante intervalos pareados, se comprueba con el conjunto de regresión y después la revisan las personas responsables del trabajo. Seguir entrenando puede desgastar sin hacer ruido habilidades anteriores, el problema que trata nuestro artículo sobre el olvido catastrófico durante el fine-tuning, y el conjunto de regresión es lo que lo detecta.

Ertas es un laboratorio de IA aplicada, y el endpoint de modelo adaptativo aplica este filtro en producción. Un modelo entrenado con tu tarea se sirve a través de una API compatible con OpenAI. Las versiones nuevas se entrenan en segundo plano con el tráfico de tus agentes, se puntúan con tus evaluaciones y solo entran en servicio con tu aprobación. Si una versión nueva no alcanza el nivel, el modelo actual sigue en servicio. Funciona gestionado por Ertas, en tu propia nube o en tus instalaciones. Por ahora el endpoint funciona solo por invitación, y estamos desarrollando una versión más ágil para abrirlo a más empresas.

Preguntas Frecuentes

¿Qué es un marco de evaluación de LLM?

Un marco de evaluación de LLM es la combinación fija de un conjunto de evaluación, un método de puntuación, un protocolo y una regla de decisión que, juntos, dicen si un modelo es suficientemente bueno. Herramientas de código abierto como EvalSense aportan partes de uno. El protocolo y los umbrales los fijas tú.

¿Cuántos ejemplos hacen falta para evaluar un LLM?

Los suficientes para que la diferencia que necesitas detectar supere el ruido. En el estudio QMSum, 50 ejemplos dieron un intervalo del 95% de unos 5,6 puntos de ROUGE-1, e incluso 281 dejaron indetectables las diferencias por debajo de un punto. Aplica bootstrap a tus propias puntuaciones para encontrar tu umbral.

¿Se puede usar un LLM como juez en una evaluación de dominio?

Sí, después de comprobarlo. En el estudio de Zheng et al. de 2023, los jueces más capaces coincidieron con las preferencias humanas en más del 80% de los casos, y el mismo estudio encontró sesgos de posición, de verbosidad y de autopromoción. Compara primero el juez con etiquetas de expertos sobre tus propios ejemplos.

¿Conviene usar benchmarks públicos de dominio?

Úsalos como mínimo y como control de cordura. LegalBench, FinanceBench y conjuntos parecidos muestran cómo maneja un modelo un campo en general. Tu propio conjunto reservado, construido con tu trabajo, decide si un modelo está listo para él.

¿Cada cuánto hay que repetir una evaluación de dominio?

Con cada versión nueva del modelo y cada vez que cambie el propio trabajo. Añade los nuevos casos de fallo al conjunto de regresión a medida que aparezcan, y trata un cambio de protocolo como una nueva línea base.

En resumen

Construye el conjunto de evaluación con tu trabajo real, haz que lo revisen expertos del campo, divídelo antes de entrenar y congela el protocolo. Declara márgenes de aprobación por encima del ruido que hayas medido, da intervalos en cada comparación y considera no resueltos los intervalos que cruzan el cero. Comprueba que tu métrica premia lo correcto y pon el coste por tarea junto a la calidad. Para ver cómo se construye un modelo de dominio antes de evaluarlo, lee qué es un LLM de dominio específico.

---

Fuentes, consultadas el 29 de octubre de 2026: Guha et al., "LegalBench" (2023); Islam et al., "FinanceBench" (2023); Raju et al., "Constructing Domain-Specific Evaluation Sets for LLM-as-a-judge" (2024); Zheng et al., "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena" (2023); Dejl et al., "EvalSense" (2026). Nuestra investigación: el estudio QMSum, su artículo y su código.