Gobernanza de modelos & AI Compliance

Overview

La gobernanza de modelos es el conjunto de políticas, procesos y controles que las organizaciones utilizan para gestionar los modelos de IA a lo largo de su ciclo de vida, desde el desarrollo inicial hasta el despliegue en producción, la monitorización y la retirada. A medida que los sistemas de IA influyen cada vez más en las decisiones de negocio, la experiencia de los clientes y los resultados regulatorios, la gobernanza de modelos ha pasado de ser una buena práctica a una expectativa de los reguladores. Los supervisores bancarios de Estados Unidos (la Reserva Federal, la OCC y la FDIC) esperan desde hace tiempo una gestión del riesgo de modelo según orientaciones como la SR 11-7, y la Ley de IA de la UE, el NIST AI RMF y normas como la ISO/IEC 42001 extienden ahora expectativas similares a todos los sectores.

La gobernanza de modelos atiende a varias preocupaciones. Comprueba que los modelos se desarrollen con datos y métodos adecuados, que terceros independientes los validen antes del despliegue, que se monitorice en producción la degradación de su rendimiento y su deriva, y que se retiren cuando dejen de alcanzar los niveles de calidad o los requisitos normativos. También establece una rendición de cuentas clara al definir quién es responsable del desarrollo, la validación, la aprobación y la supervisión continua del modelo en cada etapa del ciclo de vida.

El reto ha crecido con los grandes modelos de lenguaje y los modelos fundacionales. Los marcos tradicionales de gobernanza de modelos se diseñaron para modelos estadísticos con entradas, salidas y perfiles de riesgo bien definidos. Los sistemas de IA modernos son más complejos, más capaces y más difíciles de validar por completo. Las organizaciones deben adaptar sus marcos de gobernanza a los riesgos particulares de la IA generativa, como las alucinaciones, la inyección de prompts, la memorización de datos de entrenamiento y la dificultad de definir baterías de pruebas completas para las capacidades abiertas de un modelo.

AI-Specific Requirements

Los marcos de gobernanza de modelos suelen exigir un inventario de modelos que catalogue todos los modelos de IA en desarrollo y en producción, con su finalidad, su clasificación de riesgo, su estado de desarrollo, su ubicación de despliegue, sus responsables y su estado de validación. Este inventario es la base de la supervisión, ya que permite a las organizaciones priorizar las revisiones según el riesgo y mantener cada modelo dentro del marco de gobernanza. Los reguladores y auditores suelen pedir el inventario de modelos como punto de partida para valorar la madurez de la gobernanza de IA de una organización.

La validación de modelos es un pilar de la gobernanza y requiere una evaluación independiente del rendimiento, las limitaciones y los riesgos del modelo antes del despliegue. La validación debe incluir una revisión de la solidez conceptual (si el enfoque de modelado es adecuado para el caso de uso), un análisis de resultados (pruebas de exactitud, equidad y robustez del modelo con datos reservados) y la validación de la monitorización continua (verificar que los controles de monitorización detectarán la degradación del rendimiento). En los modelos de alto riesgo, la validación debe correr a cargo de personas independientes del equipo de desarrollo.

Los controles de gestión de cambios regulan cómo se actualizan, reentrenan y vuelven a desplegar los modelos. Cualquier cambio sustancial en un modelo, ya sea en los datos de entrenamiento, la arquitectura, los hiperparámetros o la configuración de despliegue, debe pasar por un flujo de aprobación definido que incluya evaluación de impacto, pruebas, validación y visto bueno de las partes autorizadas. El control de versiones de los modelos y de sus artefactos asociados (datos de entrenamiento, código, configuraciones) permite revertir los cambios si una nueva versión del modelo presenta problemas en producción. Los procedimientos de retirada garantizan que los modelos obsoletos se den de baja correctamente y que los sistemas que dependen de ellos pasen a modelos de sustitución o a procesos alternativos.

How Ertas Helps

La gobernanza parte de un inventario y depende de saber exactamente qué modelo está en producción. Un modelo a medida entrenado en Ertas Studio es suyo, y su versión no cambia hasta que vuelva a entrenarlo, así que cada entrada de su inventario remite a un conjunto de pesos que usted conserva. Hub muestra los modelos que ha entrenado, y Studio almacena el conjunto de datos de cada ejecución y permite comparar ejecuciones, lo que da a los validadores los datos de entrenamiento y las alternativas que hay detrás de la elección de un modelo.

Como puede exportar el modelo en GGUF o safetensors y ejecutarlo en su propio entorno, el despliegue, la reversión y la retirada pasan por su propia gestión de cambios, y los datos de inferencia nunca llegan a Ertas. Un modelo reentrenado es una versión nueva, así que puede validarlo antes de hacer el cambio. Con el endpoint de modelo adaptativo, un modelo recién entrenado solo empieza a atender peticiones una vez que supera sus evaluaciones, y los casos difíciles se quedan en el modelo de frontera que ya utiliza. El endpoint y los desarrollos empresariales a medida pueden ejecutar el modelo en su propia nube o en sus propias instalaciones (on-premise).

El entrenamiento se realiza en las GPU en la nube de Ertas, por lo que los datos de entrenamiento se suben a Ertas; minimice antes los datos sensibles y elimine los conjuntos de datos que ya no necesite. La clasificación del riesgo, la validación independiente, los flujos de aprobación, la monitorización del rendimiento y la detección de deriva quedan a su cargo.

Compliance Checklist