Fine-Tune Qwen 2.5 with Ertas

    Familia integral de modelos de pesos abiertos de Alibaba que abarca siete tamaños desde 0.5B hasta 72B parámetros, con capacidades multilingües y de codificación particularmente fuertes en más de 29 idiomas.

    0.5B1.5B3B7B14B32B72BAlibaba

    Overview

    Qwen 2.5 es la última generación en la serie de modelos de pesos abiertos Qwen (Tongyi Qianwen) de Alibaba, lanzada en septiembre de 2024. La familia ofrece un rango de tamaños sin precedentes — desde el diminuto modelo de 0.5B adecuado para dispositivos embebidos hasta el insignia de 72B que compite con los mejores modelos de pesos abiertos disponibles. Esta amplitud hace de Qwen 2.5 una de las familias de modelos más versátiles para organizaciones que necesitan desplegar en diferentes niveles de hardware.

    Los modelos fueron entrenados con aproximadamente 18 billones de tokens de datos que abarcan más de 29 idiomas, con representación particularmente fuerte de chino, inglés, japonés, coreano, vietnamita, tailandés, árabe e idiomas europeos. Esto hace de Qwen 2.5 la opción líder para aplicaciones multilingües, especialmente aquellas que involucran idiomas chinos y del este asiático donde otros modelos de pesos abiertos frecuentemente se quedan cortos.

    Arquitectónicamente, Qwen 2.5 usa un transformer denso estándar con atención de consultas agrupadas, funciones de activación SwiGLU, embeddings posicionales RoPE y sesgo QKV. Todos los modelos soportan una ventana de contexto de 128K tokens con extensión de contexto basada en YaRN, habilitando procesamiento de documentos largos en todo el rango de tamaños.

    Alibaba también lanzó variantes especializadas: Qwen 2.5 Coder para tareas de programación y Qwen 2.5 Math para razonamiento matemático. Estos modelos específicos de dominio demuestran que la arquitectura Qwen responde bien al entrenamiento dirigido, logrando rendimiento de nivel especialista en sus respectivos dominios.

    Key Features

    La capacidad multilingüe de Qwen 2.5 es su diferenciador más fuerte. El vocabulario de 151K tokens está diseñado para codificación eficiente de caracteres CJK, escritura árabe, devanagari e idiomas basados en latín, reduciendo los conteos de tokens en 15-30% comparado con modelos con vocabularios más pequeños al procesar texto no inglés. Esto se traduce directamente en inferencia más rápida y costos más bajos para despliegues multilingües.

    La familia de modelos demuestra capacidades de codificación particularmente fuertes, con el Qwen 2.5 72B igualando o superando a modelos como Llama 3 70B en benchmarks de generación de código (HumanEval, MBPP). La variante dedicada Qwen 2.5 Coder lleva esto más lejos, rivalizando con modelos de código especializados en tareas que van desde Python y JavaScript hasta lenguajes menos comunes como Rust y Haskell.

    Cada modelo en la familia soporta generación de salida estructurada con modo JSON confiable, llamadas a funciones para aplicaciones de uso de herramientas y adherencia a prompts de sistema. Las variantes ajustadas con instrucciones usan una plantilla de chat consistente en todos los tamaños, simplificando el despliegue cuando se ejecutan múltiples variantes de tamaño para diferentes casos de uso.

    Fine-Tuning with Ertas

    La familia Qwen 2.5 ofrece flexibilidad excepcional para fine-tuning en Ertas Studio. Los modelos más pequeños (0.5B, 1.5B, 3B) pueden ajustarse con LoRA completo — no solo QLoRA — en GPUs de consumo con 8-12GB de VRAM, permitiendo adaptación de mayor calidad. El modelo de 7B es ideal para entrenamiento con QLoRA en GPUs de 12-16GB, e incluso el modelo de 14B cabe en una GPU de 24GB con cuantización de 4 bits.

    Para fine-tuning multilingüe, Qwen 2.5 es el modelo base recomendado en Ertas Studio. Su amplia cobertura de idiomas significa que puedes crear asistentes bilingües o multilingües ajustando con datasets de idiomas mixtos. El manejo eficiente del tokenizer de CJK y otras escrituras no latinas significa que el entrenamiento converge más rápido en datos multilingües comparado con modelos con tokenizers centrados en latín.

    Ertas Studio soporta todos los tamaños de Qwen 2.5, y la interfaz visual facilita comparar resultados entre diferentes tamaños de modelo. Un flujo de trabajo común es prototipar con el modelo de 3B o 7B, validar la calidad, y luego escalar a 14B o 32B para producción. Después del entrenamiento, exporta a GGUF y despliega a través de Ollama, que tiene excelente soporte para Qwen 2.5.

    Use Cases

    Qwen 2.5 es la primera opción para cualquier aplicación que requiera fuerte soporte multilingüe, especialmente para sistemas bilingües chino-inglés, procesamiento de idiomas del este asiático o aplicaciones que sirven bases de usuarios globales diversas. Las variantes ajustadas destacan como agentes de soporte al cliente multilingüe, asistentes de traducción y sistemas de recuperación de información entre idiomas.

    El rango de tamaños de modelo hace a Qwen 2.5 ideal para estrategias de despliegue escalonado. Las organizaciones pueden usar los modelos de 0.5B o 1.5B para tareas ligeras como clasificación y extracción de entidades, el modelo de 7B para IA conversacional estándar, y los modelos de 32B o 72B para razonamiento y generación complejos. Todos comparten el mismo tokenizer y formato de chat, simplificando la infraestructura de despliegue.

    Las variantes Qwen 2.5 Coder son excelentes para aplicaciones relacionadas con código: asistentes de IDE, herramientas de revisión de código, generadores de documentación y ayudantes de pruebas automatizadas. La combinación de fuerte capacidad de código con comprensión multilingüe las hace particularmente útiles para equipos de desarrollo que trabajan con múltiples lenguajes de programación e idiomas humanos.

    Hardware Requirements

    Los modelos Qwen 2.5 más pequeños tienen requisitos mínimos: el de 0.5B en Q4_K_M necesita solo unos 400MB de RAM, y el de 1.5B necesita unos 1GB. Estos pueden ejecutarse en prácticamente cualquier dispositivo de computación incluyendo smartphones y microcontroladores con suficiente memoria. El modelo de 3B en Q4_K_M requiere aproximadamente 2GB, y el modelo de 7B necesita unos 4.5GB.

    El modelo de 14B en Q4_K_M requiere aproximadamente 8.5GB, el de 32B necesita unos 19GB, y el insignia de 72B requiere aproximadamente 42GB. El modelo de 72B en Q4_K_M cabe en una sola GPU A100 de 80GB o puede ejecutarse con inferencia CPU en sistemas con 64GB+ de RAM. En Q8_0, el modelo de 72B requiere aproximadamente 77GB.

    Para fine-tuning en Ertas Studio, los rangos de VRAM recomendados son: modelos de 0.5B-3B necesitan 4-8GB, 7B necesita 8-12GB, 14B necesita 12-16GB, 32B necesita 24-32GB, y 72B necesita 48-80GB con QLoRA. Los modelos más pequeños permiten experimentación rápida antes de comprometerse con variantes más grandes.

    Supported Quantizations

    Q4_0Q4_K_MQ5_K_MQ6_KQ8_0F16

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.