What is Data Labeling?

Definition

El etiquetado de datos es el proceso de adjuntar metadatos estructurados — clasificaciones, etiquetas, cuadros delimitadores, spans de entidades o puntuaciones de calidad — a datos crudos para que puedan servir como señal de entrenamiento para aprendizaje automático supervisado. En el contexto del fine-tuning de modelos de lenguaje grandes, el etiquetado típicamente significa organizar texto en pares instrucción-respuesta, clasificar ejemplos por tema o dificultad, calificar la calidad de respuestas o anotar spans de texto con tipos de entidad y roles semánticos.

El etiquetado existe en un espectro de complejidad. En el extremo más simple, las etiquetas de clasificación binaria marcan ejemplos como relevantes o irrelevantes. En el extremo más complejo, los esquemas de etiquetado multidimensional pueden asignar a cada ejemplo de entrenamiento una categoría de tema, una puntuación de dificultad, una calificación de toxicidad y una evaluación de precisión factual — todo lo cual informa cómo se pondera el ejemplo durante el entrenamiento.

La calidad de las etiquetas determina directamente el techo del rendimiento del modelo. Un modelo entrenado con datos mal etiquetados aprenderá patrones incorrectos independientemente de la arquitectura o la configuración de entrenamiento. Esta realidad ha dado lugar al dicho 'basura entra, basura sale', que sigue siendo el principio más importante en el aprendizaje automático aplicado. El etiquetado de alta calidad requiere directrices de anotación claras, anotadores capacitados (humanos o automatizados) y procesos sistemáticos de aseguramiento de calidad incluyendo medición de acuerdo inter-anotador.

Why It Matters

Para el fine-tuning de modelos de lenguaje, el dataset etiquetado es el mecanismo principal para comunicar el comportamiento deseado. Cada par instrucción-respuesta es una etiqueta implícita que enseña al modelo cómo luce una buena respuesta. Si estos ejemplos están etiquetados inconsistentemente — variando en calidad, formato o corrección — el modelo aprenderá una mezcla incoherente de comportamientos.

El etiquetado también es la parte más laboriosa y costosa de la creación de datasets. El etiquetado manual por expertos del dominio puede costar entre $5 y $50 por ejemplo dependiendo de la complejidad, y los datasets grandes de fine-tuning requieren miles de ejemplos. Esta presión de costos impulsa a los equipos hacia enfoques de etiquetado semi-automatizado, donde las etiquetas iniciales son generadas por un modelo más potente y luego revisadas y corregidas por anotadores humanos. Hacer bien el proceso de etiquetado determina tanto la calidad del modelo resultante como la economía de todo el proyecto de fine-tuning.

How It Works

Un flujo de trabajo de etiquetado típico para fine-tuning de LLM comienza con la definición del esquema de etiquetado — el conjunto de categorías, formatos y criterios de calidad que los anotadores aplicarán. Luego, se configura una interfaz de etiquetado que presenta los datos crudos a los anotadores y captura sus respuestas en un formato estructurado. Los anotadores trabajan a través del dataset, aplicando etiquetas según las directrices.

La calidad se asegura a través de varios mecanismos: etiquetado redundante (múltiples anotadores etiquetan el mismo ejemplo, y los desacuerdos se resuelven), ejemplos de referencia (ejemplos pre-etiquetados se mezclan para medir la precisión del anotador) y verificaciones automatizadas de consistencia (señalando etiquetas que entran en conflicto con ejemplos similares). El dataset etiquetado se exporta luego en un formato adecuado para entrenamiento — típicamente JSONL con campos de instrucción y respuesta.

Example Use Case

Una empresa de comercio electrónico quiere ajustar un modelo para clasificar consultas de clientes en 15 categorías (devoluciones, envíos, facturación, preguntas sobre productos, etc.). Extraen 10,000 tickets de soporte históricos, y tres anotadores etiquetan independientemente cada ticket. Los casos donde los anotadores no están de acuerdo son revisados por un agente senior. El dataset etiquetado final logra un 94% de acuerdo inter-anotador y produce un clasificador ajustado con 91% de precisión — una mejora del 23% sobre el rendimiento zero-shot del modelo base.

Key Takeaways

• El etiquetado de datos asigna anotaciones estructuradas a datos crudos para aprendizaje supervisado.
• La calidad de las etiquetas establece el techo del rendimiento del modelo — ninguna arquitectura puede superar malas etiquetas.
• El etiquetado es la parte más costosa de la creación de datasets, impulsando la demanda de enfoques semi-automatizados.
• El aseguramiento de calidad requiere etiquetado redundante, estándares de referencia y métricas de acuerdo inter-anotador.
• Para el fine-tuning de LLM, cada par instrucción-respuesta es en sí mismo una etiqueta que codifica el comportamiento deseado del modelo.