What is Model Card?

Un artefacto de documentación estandarizado que describe los usos previstos, las métricas de rendimiento, las limitaciones, las consideraciones éticas y la procedencia de los datos de entrenamiento de un modelo de aprendizaje automático.

Definition

Una model card es un documento estructurado que acompaña a un modelo de aprendizaje automático, proporcionando transparencia sobre su desarrollo, capacidades, limitaciones y uso apropiado. Introducida por Mitchell et al. en Google en 2019, el framework de model card estandariza cómo se documentan los modelos, de manera similar a como las etiquetas nutricionales estandarizan la información de productos alimenticios. Las model cards son ahora una práctica recomendada ampliamente adoptada y cada vez más un requisito regulatorio.

Una model card completa incluye varias secciones estándar: descripción del modelo (arquitectura, tamaño, enfoque de entrenamiento), usos previstos (para qué está diseñado el modelo y para qué explícitamente no está diseñado), datos de entrenamiento (descripción de la fuente, tamaño, composición, preprocesamiento), resultados de evaluación (métricas de rendimiento en diferentes subgrupos y conjuntos de prueba), limitaciones y sesgos (modos de falla conocidos, sesgos demográficos, límites de capacidad), consideraciones éticas (daños potenciales, estrategias de mitigación, guías de uso responsable), e información de mantenimiento (quién mantiene el modelo, cómo reportar problemas, calendario de actualizaciones).

Las model cards sirven a múltiples audiencias. Para desarrolladores, proporcionan la información técnica necesaria para integrar el modelo correctamente. Para usuarios finales, establecen expectativas sobre lo que el modelo puede y no puede hacer. Para reguladores y auditores, proporcionan la documentación requerida para evaluaciones de cumplimiento. Para la organización que despliega el modelo, sirven como un artefacto de gestión de riesgos que documenta la debida diligencia en el desarrollo del modelo.

Why It Matters

La Ley de IA de la UE exige documentación de sistemas de IA de alto riesgo que refleja de cerca los requisitos de las model cards — incluyendo procedencia de datos de entrenamiento, métricas de rendimiento, limitaciones conocidas y usos previstos. Las organizaciones que despliegan IA en la UE sin documentación adecuada enfrentan multas y restricciones de despliegue. Las model cards son el mecanismo práctico para cumplir estos requisitos de documentación.

Más allá del cumplimiento, las model cards previenen el mal uso. Un modelo entrenado con texto en inglés y evaluado en contextos culturales estadounidenses podría funcionar mal o producir salidas dañinas cuando se usa para otros idiomas o culturas. Sin una model card que documente estas limitaciones, los usuarios posteriores no tienen forma de conocer los límites del modelo. Las model cards hacen estas limitaciones explícitas, permitiendo decisiones de despliegue informadas y previniendo daños previsibles.

How It Works

La creación de model cards se integra típicamente en el flujo de trabajo de desarrollo del modelo. Durante el entrenamiento, los metadatos sobre el proceso de entrenamiento (fuentes de datos, hiperparámetros, duración del entrenamiento, hardware utilizado) se capturan automáticamente a través de herramientas de seguimiento de experimentos. Después del entrenamiento, los resultados de evaluación se generan ejecutando el modelo a través de benchmarks estándar y específicos del dominio, con resultados desagregados por subgrupos relevantes (idioma, demografía, nivel de dificultad).

El desarrollador del modelo luego escribe las secciones narrativas — usos previstos, limitaciones, consideraciones éticas — basándose en su comprensión de las capacidades del modelo y los resultados de evaluación. La model card completa se publica junto a los pesos del modelo, típicamente en la página del repositorio del modelo (por ejemplo, Hugging Face Hub). Los equipos responsables actualizan la model card cuando se descubre nueva información sobre limitaciones o sesgos, tratándola como un documento vivo en lugar de un artefacto único.

Example Use Case

Una empresa de IA para salud publica una model card para su modelo de resumen de notas clínicas. La tarjeta documenta que el modelo fue entrenado con notas clínicas en inglés de hospitales de EE.UU. (2015-2024), alcanza 91% de ROUGE-L en su conjunto de prueba pero solo 73% en notas clínicas del Reino Unido debido a diferencias de terminología, no ha sido evaluado en notas pediátricas, y no debe usarse como única base para decisiones clínicas. Cuando un hospital en el extranjero considera desplegar el modelo, la model card les ayuda a entender la brecha de rendimiento y planificar la validación apropiada antes del despliegue.

Key Takeaways

Las model cards son documentación estandarizada que describe las capacidades, limitaciones y usos apropiados de un modelo.
Sirven a desarrolladores, usuarios finales, reguladores y gestión de riesgos organizacional simultáneamente.
La Ley de IA de la UE exige requisitos de documentación estrechamente alineados con el contenido de las model cards.
Las secciones clave incluyen usos previstos, datos de entrenamiento, resultados de evaluación, limitaciones y consideraciones éticas.
Las model cards son documentos vivos que deben actualizarse conforme se descubren nuevas limitaciones o sesgos.

How Ertas Helps

Ertas Studio genera automáticamente plantillas de model cards pobladas con metadatos de entrenamiento, hiperparámetros y resultados de evaluación. Combinado con la procedencia de datos de Ertas Data Suite, los equipos pueden producir documentación completa de modelos que cumple los requisitos regulatorios con un esfuerzo manual mínimo.