OpenClaw + Modelos Ajustados vs. OpenClaw + GPT-4: Una Comparación Práctica

La suposición que la mayoría lleva a OpenClaw es que los modelos más grandes producen mejores resultados. GPT-4o es la recomendación por defecto. Claude 3.5 Sonnet es la alternativa. Ambos son modelos frontera con enormes conteos de parámetros y costos por token correspondientemente enormes.

Pero, realmente un modelo frontera es la mejor opción para trabajo de agente?

Configuramos una comparación directa: OpenClaw ejecutando GPT-4o a través de la API de OpenAI vs. OpenClaw ejecutando un modelo Qwen 2.5 7B ajustado a través de una instancia local de Ollama. Mismas tareas. Mismos criterios de evaluación. Economías diferentes.

La Configuración de Prueba

Configuración en la nube: OpenClaw conectado a GPT-4o vía el proveedor predeterminado de OpenAI. Prompts de sistema estándar. Sin instrucciones personalizadas más allá de las descripciones de las tareas.

Configuración local: OpenClaw conectado a un modelo Qwen 2.5 7B, ajustado con 1,500 ejemplos específicos de tarea usando LoRA (rank 16, 3 epochs), servido vía Ollama en un Mac Studio M2 Ultra. Cuantización Q5_K_M.

Probamos cinco flujos de trabajo comunes de OpenClaw, cada uno evaluado en precisión, consistencia, latencia y costo.

Tarea 1: Triaje de Email y Redacción de Respuestas

La tarea: Procesar 200 emails entrantes, clasificar por urgencia (crítica/alta/media/baja) y redactar respuestas apropiadas.

Por qué gana el modelo ajustado: Fue entrenado con 600 ejemplos de las clasificaciones reales de emails y patrones de respuesta de esta empresa. Aprendió los criterios de urgencia específicos ("de VP o superior = alta", "disputa de facturación con monto mayor a $5K = crítica") que GPT-4o tenía que inferir de un prompt de sistema. El enfoque de prompt de sistema falló en captar matices de forma consistente.

Tarea 2: Categorización de Tickets de Soporte

La tarea: Categorizar 500 tickets de soporte al cliente en 14 categorías específicas del producto, extraer el problema clave y asignar prioridad.

Por qué gana el modelo ajustado: La taxonomía de 14 categorías era específica de la empresa. "Facturación" vs. "Gestión de Suscripciones" vs. "Procesamiento de Pagos" tenía distinciones sutiles que solo tenían sentido en contexto. GPT-4o confundió varias categorías de forma consistente. El modelo ajustado había visto 400 ejemplos de categorización correcta y aprendió los límites.

Esta es la mayor brecha de rendimiento que observamos. La clasificación específica de dominio es donde el fine-tuning entrega sus mejoras más dramáticas.

Tarea 3: Resumen de Reuniones y Extracción de Tareas Pendientes

La tarea: Procesar 50 transcripciones de reuniones (15-60 minutos cada una), generar resúmenes estructurados y extraer tareas pendientes con responsables y fechas límite.

Por qué GPT-4o gana aquí: El resumen de reuniones requiere comprender contextos conversacionales nuevos, manejar tangentes e inferir tareas pendientes implícitas. Esta es una tarea donde la capacidad de razonamiento general importa más que el conocimiento específico de dominio. El modelo ajustado tuvo un rendimiento adecuado pero falló en captar implicaciones sutiles y referencias cruzadas que GPT-4o detectó.

La brecha es menor de lo esperado: un modelo ajustado al 85% vs. GPT-4o al 91% en precisión de responsable es suficiente para muchos casos de uso. Y la mejora de velocidad de 3x más costo cero puede justificar la compensación dependiendo de tus requisitos.

Tarea 4: Extracción de Datos de Documentos

La tarea: Extraer datos estructurados de 100 facturas: nombre del proveedor, monto, fecha, partidas, impuestos y términos de pago. Salida como JSON.

Por qué gana el modelo ajustado: El cumplimiento del esquema es la métrica destacada. GPT-4o ocasionalmente se desvió del esquema JSON especificado: omitiendo campos opcionales, usando formatos de fecha inconsistentes o anidando datos de forma diferente a la solicitada. El modelo ajustado había visto el esquema de salida exacto cientos de veces durante el entrenamiento y se adhirió a él el 99% de las veces.

Para cualquier flujo de trabajo donde OpenClaw alimenta datos extraídos a sistemas posteriores (bases de datos, APIs, hojas de cálculo), el cumplimiento del esquema es crítico. Una tasa de cumplimiento del 79% significa que el 21% de las salidas necesitan corrección manual o manejo de errores. Al 99%, el pipeline está esencialmente automatizado.

Tarea 5: Generación de Informes Diarios

La tarea: Generar 30 informes diarios de negocio a partir de datos estructurados (dashboards de métricas, cifras de ventas, actualizaciones de estado de proyectos). Los informes deben seguir una plantilla específica con análisis narrativo.

Por qué gana el modelo ajustado: Adherencia a la plantilla y precisión factual. El modelo fue entrenado con 300 ejemplos del formato de informe exacto, así que consistentemente produjo informes que coincidían con la estructura esperada. GPT-4o a veces reordenaba secciones, usaba diferentes estilos de encabezado o añadía comentarios que no eran parte de la plantilla.

La precisión factual también fue mayor con el modelo ajustado, probablemente porque tenía menos tendencias a "rellenar" con números plausibles pero incorrectos cuando los datos eran ambiguos.

La Imagen General

Los modelos ajustados ganan 4 de 5 tareas en la métrica de precisión principal. La única tarea donde GPT-4o lidera, el resumen de reuniones, muestra una brecha menor de lo que la mayoría espera.

Costo Total de Esta Suite de Pruebas

• GPT-4o: AU$126.00
• Modelo local ajustado: AU$0.00

Escala esto a operaciones diarias de agencia con múltiples clientes, y la diferencia de costo anual se mide en decenas de miles de dólares.

Cuándo Usar Cada Uno

Usa modelos locales ajustados cuando:

• La tarea es repetitiva y sigue patrones que el modelo puede aprender de ejemplos
• La consistencia del formato de salida importa (esquemas JSON, plantillas de informes, taxonomías de categorización)
• La tarea involucra conocimiento específico de dominio (terminología de empresa, catálogos de productos, procesos internos)
• La predictibilidad de costos es importante (agencias, despliegues en producción)
• La privacidad de datos es una preocupación (todo se queda local)

Usa GPT-4o (u otro modelo frontera) cuando:

• La tarea requiere razonamiento novel en contextos desconocidos
• La calidad de escritura creativa es la métrica principal
• La tarea cambia frecuentemente y no hay suficientes datos de entrenamiento estables
• Estás en la fase de prototipado y aún no tienes un dataset de fine-tuning

Usa ambos (enrutamiento híbrido):

• Enruta tareas rutinarias de alto volumen al modelo local ajustado
• Enruta casos extremos y consultas nuevas a una API en la nube como respaldo
• OpenClaw soporta múltiples proveedores de modelos, así que esta configuración es directa

Construyendo Tu Comparación

Los números de precisión específicos arriba variarán para tu caso de uso. El patrón, sin embargo, es consistente: los modelos ajustados superan a los modelos frontera genéricos en tareas estrechas, repetitivas y específicas de dominio, exactamente las tareas que componen la mayoría del trabajo de agente de OpenClaw.

Para ejecutar tu propia comparación:

1. Identifica tus 3 principales flujos de trabajo de OpenClaw por volumen
2. Exporta más de 500 ejemplos de cada uno (pares de entrada/salida de tu configuración actual)
3. Ajusta un modelo 7B en Ertas Studio (30-60 minutos)
4. Ejecuta las mismas tareas a través de ambos modelos
5. Compara precisión, latencia y costo

La mayoría de equipos encuentran que los modelos ajustados igualan o superan a los modelos frontera en sus flujos de trabajo específicos dentro de la primera iteración. Para la segunda iteración, después de agregar ejemplos mal clasificados al conjunto de entrenamiento, la brecha típicamente se amplía aún más a favor del modelo ajustado.