Los modelos base de pesos abiertos más potentes para fine-tuning con QLoRA y LoRA en 2026 — clasificados por accesibilidad de hardware, calidad de los fine-tunes resultantes, soporte del ecosistema y licenciamiento para despliegue comercial.
By TaskUpdated 2026-04-305 picks
Introduction
El fine-tuning se ha convertido en la forma más rentable de especializar un modelo de pesos abiertos potente para tu dominio — mucho más barato que entrenar desde cero, y cada vez más barato que usar fine-tuning vía API de modelos propietarios. La frontera de fine-tuning en 2026 son las bases Mixture-of-Experts (MoE) con baja cuenta de parámetros activos, donde el rendimiento por paso de entrenamiento con QLoRA está dominado por la cuenta activa más que por el total. Esto significa que modelos como Mistral Small 4 (6B activos) y Qwen 3.6 35B-A3B (3B activos) entrenan sustancialmente más rápido que modelos densos de tamaño equivalente.
El modelo base adecuado para fine-tuning depende de tres factores: accesibilidad de hardware (¿caben modelo + LoRA + activaciones + gradientes en tu GPU?), soporte del ecosistema (¿hay recetas de entrenamiento, datasets e hiperparámetros validados ya documentados?) y ajuste de licencia a tu objetivo de despliegue (Apache 2.0 / MIT preferidas para uso comercial). Esta clasificación pondera los tres.
La arquitectura MoE de Mistral Small 4, con 6B parámetros activos, lo hace excepcionalmente eficiente de afinar en relación con sus 119B parámetros totales. QLoRA cabe cómodamente en una sola GPU de 24GB con longitudes de secuencia típicas — sustancialmente más accesible que afinar modelos densos de calidad equivalente en el rango de 30B-70B, que normalmente requieren GPUs de 48GB+. La arquitectura unificada (que cubre razonamiento, codificación y casos ajustados a instrucciones) significa que un solo fine-tune maneja tareas multidominio. La licencia Apache 2.0 no impone restricciones de uso ni requisitos de atribución.
Strengths
El fine-tuning con QLoRA cabe en una sola GPU de 24GB con longitud de secuencia completa
Inferencia con 6B parámetros activos para despliegue rápido de modelos afinados
Licencia Apache 2.0 sin restricciones comerciales
Un solo fine-tune cubre razonamiento, codificación y tareas ajustadas a instrucciones
Trade-offs
El enrutamiento de expertos en MoE requiere configuración de fine-tuning consciente de la plataforma (gestionado automáticamente en Ertas Studio)
La huella de despliegue en Q4_K_M (65GB) es mayor de lo que sugiere el número de parámetros activos
Parámetros activos para fine-tuning: 3B (el más bajo)
La variante MoE 35B-A3B de Qwen 3.6 tiene el menor recuento de parámetros activos de cualquier modelo insignia de pesos abiertos — solo ~3B parámetros activos por token. El fine-tuning con QLoRA cabe en una GPU de 24GB con longitudes de secuencia completas, entrenando a velocidades sustancialmente más rápidas que modelos densos de tamaño equivalente. Después del fine-tuning, el modelo resultante se sirve a velocidad de inferencia de clase 3B mientras entrega calidad competitiva con modelos densos de 14B-32B. La licencia Apache 2.0, junto con el soporte nativo de Qwen-Agent, hace que los fine-tunes resultantes sean inmediatamente desplegables en sistemas agénticos.
Strengths
El menor recuento de parámetros activos de cualquier insignia actual — fine-tuning más rápido por paso
QLoRA cabe en una GPU de 24GB con longitud de secuencia completa
Licencia Apache 2.0 — totalmente comercial
El fine-tune resultante hereda la integración Qwen-Agent para uso de herramientas
Trade-offs
La arquitectura MoE requiere gestión de la estabilidad del enrutamiento de expertos durante la adaptación de bajo rango
La huella total de memoria (~20GB en Q4_K_M) es mayor de lo que sugiere el número de parámetros activos
Llama 3 tiene el mayor ecosistema de fine-tuning de cualquier familia de modelos de pesos abiertos. Años de recetas de entrenamiento validadas por la comunidad, configuraciones de hiperparámetros y fine-tunes preconstruidos hacen de él el camino con menos fricción hacia un modelo afinado funcional. La variante de 8B se afina con QLoRA en 12-16GB de VRAM, la de 70B en 40-48GB. Para equipos que se benefician de aprovechar recursos comunitarios — datasets de ejemplo, scripts de entrenamiento, frameworks de evaluación — Llama 3 es la opción práctica a pesar de que arquitecturas más nuevas ofrecen mejor economía de fine-tuning.
Strengths
Enorme ecosistema de fine-tunes, recetas y recursos comunitarios
La variante de 8B se afina en 12-16GB de VRAM (territorio de GPU de consumo)
Soporte maduro en todos los principales frameworks de fine-tuning
Llama Guard 3 disponible como clasificador de seguridad para el despliegue de modelos afinados
Trade-offs
La arquitectura densa es menos eficiente de afinar que las alternativas MoE modernas
La Llama Community License tiene topes de uso y requisitos de atribución
La variante MoE 26B-A3.8B de Gemma 4 ofrece fine-tuning eficiente en relación con su calidad equivalente a la de un modelo de 31B. Con solo 3,8B parámetros activos, QLoRA cabe en una GPU de 24GB con longitudes de secuencia completas. La nueva licencia Apache 2.0 (que sustituye las restricciones previas de la Gemma License) hace que los fine-tunes de Gemma 4 sean comercialmente desplegables sin la sobrecarga de revisión legal. Para fine-tuning multimodal específicamente, Gemma 4 es una opción sólida — la base soporta entrada de imagen en todas las variantes, y afinar con datos visuales anotados extiende la capacidad multimodal a tu dominio.
Strengths
Los 3,8B parámetros activos en MoE permiten un fine-tuning eficiente
Licencia Apache 2.0 — primera generación de Gemma con esta licencia
Multimodal nativa — soporta datos de fine-tuning de imagen-texto
Sólido soporte de MLX para flujos de fine-tuning en Apple Silicon
Trade-offs
Comunidad más pequeña de fine-tunes preexistentes frente a Llama 3 / Qwen 3
El fine-tuning multimodal tiene mayor sobrecarga de preparación de datos
El fine-tuning de GPT-OSS-20B cabe en GPUs de consumo (16-24GB de VRAM) con QLoRA, mientras que la variante de 120B cabe en una sola GPU de 80GB o en dos GPUs de 48GB. El sólido entrenamiento de uso de herramientas del modelo se traslada a los fine-tunes — una variante afinada de GPT-OSS conserva un comportamiento de function calling de alta fidelidad incluso cuando se especializa en dominios estrechos. Licencia Apache 2.0 sin restricciones de uso. Para equipos que toman decisiones de selección de proveedor en las que la marca OpenAI tiene peso en la revisión de despliegue, GPT-OSS proporciona una ruta de migración con relativamente poca fricción desde la API de OpenAI hacia un despliegue afinado autoalojado.
Strengths
Licencia Apache 2.0 — sin restricciones comerciales
La fidelidad de uso de herramientas se traslada a los fine-tunes (a diferencia de muchas bases de pesos abiertos)
La variante de 20B se afina en GPUs de consumo
Ruta de migración desde la API de OpenAI para equipos familiarizados con sus patrones de prompts
Trade-offs
Comunidad de fine-tunes más pequeña frente a los ecosistemas de Llama / Qwen
La variante de 120B requiere una GPU de 80GB o configuración multi-GPU para fine-tuning
How We Chose
Evaluamos los modelos base para fine-tuning en tres ejes: accesibilidad de hardware (la GPU más pequeña que aloja QLoRA con longitudes de secuencia típicas), madurez del ecosistema (disponibilidad de recetas de entrenamiento validadas y fine-tunes de referencia) y permisividad de licencia (idoneidad para el despliegue comercial de fine-tunes derivados). Ponderamos escenarios realistas de una sola GPU y de pequeñas configuraciones multi-GPU por encima del entrenamiento full-parameter en multi-servidor, ya que la gran mayoría del fine-tuning en producción ocurre con QLoRA en configuraciones de 1-2 GPUs.
Bottom Line
Para la mayoría de los equipos en 2026, Mistral Small 4 o Qwen 3.6 35B-A3B son los modelos base más fuertes para fine-tuning — combinan entrenamiento eficiente en MoE con licencias permisivas y alta calidad efectiva. Llama 3 sigue siendo un valor por defecto sólido cuando la madurez del ecosistema importa más que la eficiencia por paso. Gemma 4 es la opción natural para fine-tuning multimodal específicamente. Sea cual sea la base que elijas, Ertas Studio gestiona automáticamente la complejidad específica de la arquitectura — estabilidad del enrutamiento de expertos en MoE, fusión de adaptadores LoRA, preservación del proyector multimodal — con exportación a GGUF de un solo clic para despliegue.