Registro de auditoría de IA & AI Compliance

Overview

Un registro de auditoría de IA es un registro cronológico de las actividades, decisiones y cambios asociados a un sistema de inteligencia artificial a lo largo de su ciclo de vida. Los registros de auditoría del software tradicional se centran sobre todo en las acciones de los usuarios y los eventos del sistema. Los de IA también deben recoger los elementos propios de los flujos de aprendizaje automático: la procedencia de los datos de entrenamiento, el versionado de modelos, los cambios de hiperparámetros, los resultados de evaluación, las decisiones de despliegue y los patrones de inferencia. A medida que los marcos regulatorios exigen cada vez más explicabilidad y rendición de cuentas a los sistemas de IA, los registros de auditoría se han convertido en un requisito básico del desarrollo responsable de IA.

Varias fuerzas impulsan la necesidad de estos registros. Normas como la Ley de IA de la UE exigen expresamente capacidades de registro para los sistemas de IA de alto riesgo. Marcos como el NIST AI RMF y la ISO/IEC 42001 piden pruebas documentadas de las prácticas de gestión de riesgos. Los clientes empresariales exigen auditabilidad como requisito de compra. Internamente, las organizaciones necesitan registros de auditoría para depurar el comportamiento de los modelos, investigar incidentes y demostrar la debida diligencia. Sin un registro de auditoría, tanto las decisiones de un sistema de IA como su historial de desarrollo son una caja negra.

Un registro de auditoría de IA eficaz crea una cadena de evidencias verificable que conecta todos los aspectos del desarrollo y el funcionamiento del sistema. Esto incluye quién creó y modificó los conjuntos de datos de entrenamiento, qué fuentes de datos se usaron, cómo se limpiaron y transformaron los datos, qué arquitecturas de modelo se evaluaron, qué configuraciones de entrenamiento produjeron el modelo desplegado, cómo se validó el modelo, quién aprobó el despliegue y cómo rinde el modelo en producción. Cada eslabón de esta cadena debe llevar marca de tiempo, estar atribuido a un responsable y ser resistente a la manipulación.

AI-Specific Requirements

Un registro de auditoría de IA debe recoger las actividades de cuatro fases: preparación de datos, desarrollo del modelo, despliegue y operación en producción. Durante la preparación de datos, debe registrar la identificación y adquisición de las fuentes de datos, las evaluaciones de calidad de los datos, las operaciones de limpieza y transformación, las actividades de etiquetado y anotación, el versionado de los conjuntos de datos y el tratamiento de datos personales. Cada operación debe registrarse con la identidad de la persona o el sistema que la realiza, una marca de tiempo, las versiones de entrada y salida del conjunto de datos y los parámetros de configuración utilizados.

Durante el desarrollo del modelo, el registro de auditoría debe recoger los datos de seguimiento de experimentos, entre ellos la arquitectura de modelo elegida, las configuraciones de hiperparámetros, los metadatos de cada ejecución de entrenamiento (duración, recursos de cómputo, semillas aleatorias), las métricas de evaluación en los conjuntos de validación y prueba, los resultados de la comparación entre modelos candidatos y la justificación para elegir el modelo final que se despliega. Esta información permite analizar a posteriori por qué se tomaron determinadas decisiones de modelado y favorece la reproducibilidad, es decir, la capacidad de recrear el proceso de entrenamiento de un modelo y obtener resultados similares.

Para el despliegue y la operación en producción, los registros de auditoría deben recoger los flujos de aprobación del despliegue, los identificadores de versión del modelo en producción, las métricas de volumen y latencia de inferencia, las alertas de monitorización y las superaciones de umbrales, los resultados de detección de deriva del modelo, los registros de retroalimentación y corrección, y la documentación de la investigación de incidentes. El registro de auditoría debe almacenarse de forma duradera y con evidencia de manipulación, idealmente en un almacenamiento de solo anexado con verificación criptográfica de integridad, y conservarse durante el plazo que exija la normativa aplicable, que puede ir de meses a muchos años según la jurisdicción y el sector.

How Ertas Helps

Ertas Studio es una herramienta de entrenamiento y no incluye un sistema de registro de auditoría, así que el registro en sí reside en sus propios sistemas. Studio aporta material para la parte del registro dedicada al entrenamiento. Almacena el conjunto de datos de cada ejecución de entrenamiento para que pueda repetirse, permite comparar ejecuciones en paralelo y muestra en Hub los modelos que ha entrenado. Data Craft, el generador de conjuntos de datos de Studio, versiona los ejemplos y hace seguimiento de su estado de aprobación. Copie lo que necesite de todo ello en su propio registro de quién entrenó cada modelo, con qué datos y por qué se eligió.

Dos propiedades facilitan mantener el resto del registro. El modelo entrenado es suyo y su versión no cambia hasta que vuelva a entrenarlo, de modo que un identificador de modelo en sus registros de producción remite a un conjunto concreto de pesos. Y cuando exporta el modelo en GGUF o safetensors y lo ejecuta en su propio entorno, toda la inferencia ocurre en sistemas que su registro ya cubre, sin enviar nada a Ertas. El endpoint de modelo adaptativo y los desarrollos empresariales a medida pueden ejecutar el modelo en su propia nube o en sus propias instalaciones (on-premise), donde se aplica su registro.

El entrenamiento se realiza en las GPU en la nube de Ertas, por lo que los datos de entrenamiento se suben a Ertas; deje constancia de esa transferencia en el registro, junto con cualquier eliminación de conjuntos de datos. El almacenamiento de los registros, la evidencia de manipulación, el registro de identidades y accesos, la conservación y los informes para los reguladores quedan a su cargo.

Compliance Checklist