Benchmark: rendimiento del pipeline de preparación de datos on-premise para datasets empresariales de más de 100GB

Todo proveedor de servicios que entrega preparación de datos para proyectos de IA empresarial enfrenta la misma pregunta durante el dimensionamiento: "¿Cuánto tiempo tomará esto?"

La respuesta depende de los tipos de documento, tamaño del dataset, etapas del pipeline y hardware. Estimaciones vagas como "unas semanas" no ayudan al escribir declaraciones de trabajo con plazos fijos. Los números concretos de rendimiento sí.

Esta guía proporciona datos de benchmark realistas para cada etapa del pipeline a través de diferentes tipos de documentos y configuraciones de hardware. Estos números provienen de configuraciones comunes, no de condiciones ideales de laboratorio. Úsalos como líneas base para dimensionar engagements.

---

Nota metodológica

Todos los benchmarks asumen:

• Procesamiento en una sola máquina (no distribuido)
• Documentos procesados secuencialmente a través de etapas del pipeline (ingestar todo, limpiar todo, etiquetar todo, exportar todo)
• Configuraciones por defecto para motores OCR y backends de inferencia (sin ajuste exótico)
• Rendimiento medido como tasa sostenida después del calentamiento inicial, no pico de ráfaga

Configuraciones de hardware referenciadas:

---

Etapa 1: rendimiento de ingesta

La ingesta cubre la lectura de archivos fuente, el parseo de su estructura y la extracción de contenido crudo (texto, imágenes, metadatos).

Por tipo de documento

Análisis de cuellos de botella de ingesta

PDFs nativos: Limitados por CPU. El parseo de PDF es de un solo hilo por archivo, así que el rendimiento escala con el número de workers paralelos (limitado por núcleos de CPU e I/O).

PDFs escaneados: Limitados por I/O. Cada página es una imagen grande que debe descomprimirse. La velocidad de almacenamiento domina.

Archivos Excel: Limitados por memoria para hojas de cálculo grandes. Un archivo Excel de 50 MB puede descomprimirse a más de 500 MB en memoria. El procesamiento paralelo está limitado por RAM.

Cómo se ven 100 GB

Un archivo empresarial de 100 GB típicamente contiene una mezcla de tipos de documentos. Una distribución representativa:

Tiempo de ingesta de gama media para esta mezcla: ~4-8 horas. Los PDFs escaneados dominan la línea de tiempo a pesar de ser solo el 25% del volumen.

---

Etapa 2: rendimiento de OCR

El OCR aplica solo a documentos escaneados e imágenes. Los documentos basados en texto omiten esta etapa.

Por motor y hardware

Estimaciones de tiempo de OCR

Insight clave: El OCR es el mayor consumidor de tiempo en pipelines con documentos escaneados. Si el archivo de tu cliente es mayormente PDFs escaneados, el rendimiento del OCR determina la línea de tiempo de tu proyecto.

---

Etapa 3: rendimiento de limpieza

La limpieza incluye deduplicación, normalización de formato, detección/redacción de PII y filtrado de calidad.

Por operación

Estimaciones de tiempo de limpieza

Para un archivo de 150,000 documentos (la mezcla de 100 GB anterior):

La detección de PII basada en NER es el cuello de botella de la limpieza. Para proyectos donde la detección de PII basada en regex es suficiente (documentos financieros con PII estructurada como SSNs, números de cuenta), la limpieza es rápida. Para PII no estructurada en texto narrativo, NER agrega tiempo significativo.

---

Etapa 4: rendimiento de etiquetado

Etiquetado manual

La velocidad de etiquetado humano varía enormemente según la complejidad de la tarea y la experiencia del anotador:

Etiquetado asistido por IA (pre-anotación + revisión humana)

La fase de pre-anotación usa inferencia de LLM local. El tiempo de revisión humana depende de la precisión de la pre-anotación.

Rendimiento de pre-anotación (inferencia LLM):

Rendimiento de revisión humana (revisando pre-anotaciones):

Punto de equilibrio: Por debajo de ~70% de precisión de pre-anotación, los revisores humanos pasan más tiempo entendiendo y corrigiendo errores de lo que tardarían etiquetando desde cero. La asistencia de IA se convierte en una distracción en lugar de un acelerador.

Línea de tiempo combinada de etiquetado

Para 150,000 documentos con clasificación binaria:

El etiquetado asistido por IA con más del 80% de precisión de pre-anotación reduce el tiempo de etiquetado en 3-10x.

---

Etapa 5: rendimiento de aumento

El rendimiento de generación de datos sintéticos depende de la longitud de salida:

---

Etapa 6: rendimiento de exportación

La exportación rara vez es el cuello de botella:

---

Estimaciones de pipeline de extremo a extremo

Escenario A: 100 GB de documentos empresariales mixtos (150K archivos)

Hardware de gama media (Ryzen 9, 64 GB RAM, RTX 4080):

Escenario B: 500 GB de archivo de documentos escaneados (500K páginas)

Hardware de gama media:

Escenario C: 1 TB de archivo empresarial mixto (más de 1M archivos)

Hardware de producción (Threadripper, 128 GB RAM, 2x RTX 4090):

---

Cómo estimar la línea de tiempo a partir del volumen de datos

Un marco de estimación rápida para dimensionar propuestas:

1. Evalúa tipos de documento: ¿Qué porcentaje es escaneado vs. texto nativo? Los documentos escaneados toman 5-10x más por documento.
2. Estima conteo de archivos: Volumen total / tamaño promedio de archivo. Un archivo de 100 GB podría ser 10,000 archivos grandes o 500,000 archivos pequeños. El conteo de archivos afecta el tiempo de ingesta; el volumen total afecta el tiempo de OCR.
3. Identifica la tarea de etiquetado: ¿Clasificación binaria? ¿Multi-etiqueta? ¿Extracción de entidades? La complejidad de la tarea determina tanto el tiempo de inferencia LLM como el tiempo de revisión humana.
4. Calcula horas de revisión humana: Rendimiento de pre-anotación x nivel de precisión = horas de revisión. Esta es usualmente la fase más larga.
5. Agrega margen: Los archivos del mundo real contienen archivos corruptos, formatos inesperados y casos extremos. Agrega 20-30% a las estimaciones de tiempo de cómputo.

---

Mejorando el rendimiento sin hardware adicional

Antes de comprar más hardware, optimiza lo que tienes:

1. Arregla el cuello de botella de almacenamiento: Si los datos fuente están en HDD o almacenamiento de red, cópialos a NVMe local. Esto solo puede reducir el tiempo de ingesta en 5-20x.
2. Omite OCR innecesario: Verifica si los PDFs escaneados ya tienen capas de texto. Muchos escáneres empresariales producen PDFs con OCR embebido. Extraer la capa de texto existente es 100x más rápido que re-ejecutar OCR.
3. Usa la cuantización correcta: Q4_K_M en lugar de Q8_0 para tareas de clasificación. 40-60% de mejora de rendimiento con pérdida mínima de precisión.
4. Aumenta el paralelismo de inferencia: Si la VRAM lo permite, ejecuta 2-4 solicitudes LLM concurrentes.
5. Pre-filtra agresivamente: Elimina archivos duplicados e irrelevantes antes de procesar. Una reducción del 10% en el conteo de archivos ahorra 10% del tiempo del pipeline.

---

Rendimiento de Ertas Data Suite

La arquitectura de escritorio nativa de Ertas Data Suite evita la sobrecarga que las herramientas en contenedores introducen — sin capa de networking Docker, sin penalizaciones de I/O por montaje de volumen, sin sobrecarga del runtime de contenedor. La aplicación accede al sistema de archivos y GPU directamente, lo que se traduce en números de rendimiento en el extremo superior de los rangos listados en esta guía.

El pipeline integrado procesa documentos a través de las etapas Ingest, Clean, Label, Augment y Export con agrupamiento automático y seguimiento de progreso. Para proveedores de servicios, esto significa que el pipeline se ejecuta durante la noche con rendimiento predecible y registro detallado de qué se procesó, qué falló y qué está listo para revisión humana.

---

Usando estos números

Estos benchmarks existen para responder una pregunta: "¿Cuánto tiempo tomará la fase de preparación de datos?" Al dimensionar un engagement, estima el tiempo de cómputo de estas tablas, agrega el tiempo de revisión humana basándote en tu tarea de etiquetado y tamaño de equipo, y aplica un margen de 20-30%. El resultado es una línea de tiempo defendible para tu declaración de trabajo.

Para más sobre las decisiones de hardware y arquitectura detrás de estos números, consulta Dimensionamiento de hardware para preparación de datos on-premise y Arquitectura de runtime on-premise para preparación de datos de IA empresarial.