Los modelos de pesos abiertos más sólidos que aceptan de forma nativa entrada de imagen, audio o vídeo junto con texto, clasificados por capacidad, economía de despliegue y licencia para aplicaciones multimodales en producción.
By TaskUpdated 2026-04-305 picks
Introduction
Los modelos de lenguaje multimodales —los que aceptan entrada de imagen, audio o vídeo junto con texto— han pasado de ser curiosidades de investigación a infraestructura de producción en 2025-2026. La acción se ha consolidado en torno a dos patrones arquitectónicos: modelos multimodales nativos (visión/audio/vídeo integrados en la arquitectura base) y extensiones multimodales acopladas (adaptadores separados de lenguaje-visión añadidos a modelos solo de texto). El enfoque nativo ha ganado claramente en capacidad: los buques insignia multimodales líderes de 2026 ofrecen arquitecturas unificadas en lugar de pipelines fragmentados.
Esta clasificación pondera tres factores: amplitud de modalidades (¿soporta el modelo lo que realmente necesitas: imagen, audio, vídeo?), calidad de la capacidad (¿qué tan bien razona entre modalidades?) y economía de despliegue (¿puedes servirlo realmente a la escala que requiere tu aplicación?). Diferentes aplicaciones ponderan estos factores de manera distinta, por lo que nuestras mejores opciones abarcan un rango de arquitecturas y escalas.
Gemma 4 es la única familia de pesos abiertos con soporte multimodal nativo en todo el rango de tamaños, desde el modelo de borde efectivo de 2B (e2b) hasta el buque insignia denso de 31B. La nueva licencia Apache 2.0 (que reemplaza a la anterior Gemma License) la hace desplegable comercialmente sin la sobrecarga de revisión de licencias. Para la mayoría de aplicaciones multimodales, especialmente las que necesitan desplegarse en niveles móvil, de escritorio y servidor, Gemma 4 es la elección práctica por defecto.
Strengths
Multimodalidad nativa en todos los tamaños: la única familia que lo logra
Licencia Apache 2.0 (nueva en Gemma 4): totalmente comercial
Soporte MLX de primera clase para despliegue multimodal en Apple Silicon
Pila de seguridad ShieldGemma integrada para despliegues en producción
Trade-offs
No iguala a Qwen3-Omni ni a Kimi K2.6 en tareas multimodales avanzadas
Sin salida de audio nativa: solo genera respuestas en texto
Qwen3-Omni es el modelo omnimodal de pesos abiertos más capaz: acepta entrada de texto, imagen, audio y vídeo y produce texto más voz en tiempo real en un único checkpoint de mezcla de expertos 30B-A3B. La arquitectura unificada elimina la complejidad operativa de combinar sistemas separados de visión, audio y TTS. Para aplicaciones de interfaz por voz, herramientas de accesibilidad y moderación de contenido multimodal, Qwen3-Omni es excepcionalmente capaz entre las opciones de pesos abiertos.
Strengths
Omnimodalidad completa: texto, imagen, audio, vídeo → texto + voz en tiempo real
Un solo checkpoint frente a pipelines fragmentados de visión/audio/TTS
Licencia Apache 2.0: sin restricciones comerciales
Economía de inferencia con 3B de parámetros activos
Trade-offs
Huella de memoria de 20-24 GB pese al recuento activo de 3B
Requiere herramientas específicas multimodales (vLLM con soporte multimodal) para producción
Kimi K2.6 incluye el codificador de visión MoonViT integrado en el mismo checkpoint que el modelo de lenguaje, lo que le otorga capacidad multimodal nativa para entrada de imagen junto con texto. A diferencia de los pipelines fragmentados de lenguaje-visión, la arquitectura integrada produce un razonamiento más coherente entre modalidades. Combinado con la ventana de contexto de 256K y el runtime Agent Swarm, K2.6 se adapta bien a flujos de trabajo de ingeniería e investigación que mezclan análisis de código con razonamiento sobre capturas de pantalla, interpretación de diagramas o procesamiento de documentos con imágenes incrustadas.
Strengths
Codificador de visión MoonViT integrado en el mismo checkpoint
Razonamiento sólido sobre texto e imagen frente a pipelines fragmentados
Contexto de 256K para documentos multimodales largos
Runtime Agent Swarm para descomposición paralela de tareas multimodales
Llama 4 (tanto la variante Scout como Maverick) incorpora capacidad multimodal nativa: la entrada de imagen está integrada en la arquitectura base en lugar de añadirse mediante fine-tuning. Combinado con la ventana de contexto de 10M tokens de Llama 4 Scout (la mayor de cualquier modelo de pesos abiertos publicado), esto habilita casos de uso como el análisis de documentos largos con figuras incrustadas o el razonamiento sobre bases de código completas con diagramas. Aunque la recepción general de Llama 4 fue desigual, su capacidad multimodal sigue siendo una ventaja significativa en esta categoría específica.
Strengths
Multimodalidad nativa en la arquitectura base, no añadida posteriormente
Contexto de 10M en Llama 4 Scout para documentos multimodales ultralargos
Ecosistema de despliegue maduro (llama.cpp, vLLM, TensorRT-LLM)
17B de parámetros activos tanto en Scout como en Maverick
Trade-offs
La Llama Community License impone topes de uso y requisitos de atribución
Por detrás de la frontera de 2026 en benchmarks multimodales absolutos
Phi-4-multimodal de Microsoft (5.6B parámetros) es un modelo unificado de voz + visión + texto dentro de la familia Phi-4. Aunque no se sitúa en la cima absoluta de los benchmarks multimodales, ofrece una capacidad excepcional por parámetro, lo que lo convierte en el modelo multimodal pequeño más sólido para despliegues con recursos limitados. La licencia MIT combinada con el tamaño de 5.6B lo hace muy adecuado para aplicaciones multimodales de borde como asistentes en dispositivo y herramientas de accesibilidad.
Strengths
5.6B parámetros con voz + visión + texto unificados
Licencia MIT: completamente permisiva para uso comercial
Eficiente en recursos para despliegue multimodal pequeño
Sólida capacidad multilingüe en todas las modalidades
Trade-offs
Por detrás de los buques insignia multimodales más grandes en capacidad absoluta
Requiere específicamente la variante multimodal (separada del Phi-4 base)
How We Chose
Evaluamos modelos multimodales según las modalidades que soportan de forma nativa, la calidad del razonamiento entre modalidades (no solo la capacidad en una única modalidad), la economía de inferencia para servir en producción y la idoneidad de la licencia para despliegue comercial. Evitamos deliberadamente clasificar basándonos únicamente en benchmarks multimodales sintéticos —muchos están saturados o son propensos a contaminación— y en su lugar ponderamos patrones de despliegue del mundo real: cómo maneja el modelo capturas de pantalla en flujos de trabajo de codificación, con qué fluidez integra audio en aplicaciones de interfaz por voz y con qué solidez procesa documentos con texto y figuras mezclados.
Bottom Line
Gemma 4 es la elección práctica por defecto para la mayoría de equipos: multimodalidad nativa en todos los tamaños, licencia Apache 2.0 y amplio soporte del ecosistema de despliegue. Qwen3-Omni es la opción adecuada cuando necesitas capacidad omnimodal completa, incluida la salida de audio. Kimi K2.6 gana para flujos de trabajo de ingeniería e investigación con fuerte componente visual donde importan el contexto de 256K y la orquestación con Agent Swarm. Llama 4 conserva la ventaja en contexto multimodal ultralargo (10M tokens). Phi-4-multimodal es el especialista en despliegues pequeños. Como siempre, hacer fine-tuning con tus datos multimodales específicos del dominio mediante Ertas Studio amplifica la capacidad efectiva más allá del modelo base por sí solo.