What is Annotation?

Definition

La anotación es el proceso de enriquecer datos crudos con etiquetas estructuradas, marcas o metadatos que hacen los datos aptos para entrenar modelos de aprendizaje automático. En el contexto de NLP y fine-tuning de LLM, la anotación incluye tareas como clasificar texto en categorías, marcar spans de entidades (reconocimiento de entidades nombradas), calificar la calidad de respuestas en escalas Likert, identificar errores factuales, etiquetar sentimiento y emparejar instrucciones con respuestas apropiadas.

La anotación es el puente entre los datos crudos y los datos de entrenamiento utilizables. El texto crudo extraído de la web, documentos o bases de datos no es directamente apto para fine-tuning supervisado — carece de las etiquetas estructuradas que le dicen al modelo qué aprender. Los anotadores transforman esta materia prima en señal de entrenamiento aplicando juicio humano según directrices definidas. La calidad de la anotación determina directamente el techo de calidad del modelo resultante.

El proceso de anotación involucra varios componentes: directrices de anotación (instrucciones detalladas que definen cada categoría de etiqueta, con ejemplos y resoluciones de casos extremos), herramientas de anotación (interfaces que presentan datos a los anotadores y capturan sus juicios de manera eficiente), procesos de aseguramiento de calidad (medición de acuerdo inter-anotador, verificaciones contra estándar de referencia y resolución de desacuerdos) y gestión de proyecto (seguimiento de progreso, gestión de grupos de anotadores y mantenimiento de consistencia a lo largo del ciclo de vida del proyecto).

Why It Matters

La calidad de la anotación es la base del aprendizaje supervisado. Un modelo solo puede aprender patrones que están consistentemente presentes en sus anotaciones de entrenamiento. Si los anotadores discrepan frecuentemente, aplican etiquetas de manera inconsistente o malinterpretan las directrices, el modelo aprende una mezcla confusa de patrones conflictivos y produce salidas poco confiables.

El costo y la escalabilidad de la anotación impulsan muchas decisiones arquitectónicas importantes en ML. El gasto de la anotación humana de alta calidad (típicamente $1-50 por ejemplo dependiendo de la complejidad de la tarea) motiva técnicas como el aprendizaje activo (seleccionar estratégicamente qué ejemplos anotar), la anotación semi-automatizada (usar modelos para generar borradores de anotaciones que los humanos corrigen) y la augmentación de datos (multiplicar el valor de cada ejemplo anotado mediante transformaciones).

How It Works

Un flujo de trabajo de anotación típico comienza con la creación de directrices. Los expertos del dominio definen el esquema de anotación — qué categorías existen, cómo deben manejarse los casos extremos, qué constituye una respuesta de alta calidad versus una de baja calidad. Estas directrices se prueban en un pequeño conjunto piloto para identificar ambigüedades, luego se refinan según la retroalimentación de los anotadores.

Durante la anotación, los anotadores trabajan a través del dataset usando una interfaz especializada. Para datos de fine-tuning de LLM, esto puede involucrar escribir completaciones de respuestas para instrucciones dadas, calificar la calidad de respuestas en múltiples dimensiones o clasificar ejemplos por tema y dificultad. La calidad se monitorea continuamente: el acuerdo inter-anotador (típicamente medido por kappa de Cohen o kappa de Fleiss) debe exceder un umbral (generalmente 0.7 o más), y sesiones de calibración periódicas realinean a los anotadores a medida que avanza el proyecto. Los desacuerdos en ejemplos individuales se resuelven mediante adjudicación por anotadores senior o expertos del dominio.

Example Use Case

Una empresa que prepara datos para un modelo médico de preguntas y respuestas contrata 10 anotadores clínicos. Cada anotador revisa respuestas generadas por IA a preguntas de pacientes, calificándolas en precisión (1-5), completitud (1-5) y seguridad (aprobado/reprobado). Cada respuesta es calificada por 3 anotadores, y los desacuerdos que exceden 2 puntos son revisados por un médico senior. Después de anotar 5,000 respuestas, el equipo logra un kappa de Cohen de 0.82 — un acuerdo fuerte — y usa las calificaciones para crear un dataset de preferencia para entrenamiento DPO que mejora significativamente la calidad de respuestas médicas del modelo.

Key Takeaways

• La anotación agrega etiquetas estructuradas y metadatos a datos crudos, creando datasets listos para entrenamiento.
• La calidad de la anotación establece el techo del rendimiento del modelo — etiquetas inconsistentes producen modelos inconsistentes.
• El aseguramiento de calidad requiere medición de acuerdo inter-anotador, estándares de referencia y adjudicación.
• El costo de la anotación impulsa la adopción de aprendizaje activo, anotación semi-automatizada y augmentación de datos.
• Directrices de anotación claras y detalladas con ejemplos de casos extremos son esenciales para resultados consistentes.