AI 审计跟踪 & AI Compliance
AI 审计跟踪在训练和推理环节应记录哪些内容,以及哪些部分仍由您的团队负责
Overview
AI 审计跟踪是按时间顺序记录人工智能系统在整个生命周期内相关活动、决策和变更的记录。传统软件的审计日志主要跟踪用户操作和系统事件,而 AI 审计跟踪还必须记录机器学习工作流特有的要素:训练数据来源、模型版本管理、超参数变更、评估结果、部署决策和推理模式。随着监管框架越来越多地要求 AI 系统具备可解 释性和问责性,审计跟踪已成为负责任 AI 开发的一项基础要求。
推动 AI 审计跟踪需求的因素有好几个。欧盟《人工智能法案》等法规明确要求高风险 AI 系统具备日志记录能力。NIST AI RMF 和 ISO/IEC 42001 等框架要求提供风险管理实践的书面证据。企业客户把可审计性列为采购要求。在组织内部,审计跟踪也是调试模型行为、调查事件和证明已尽职调查所必需的。没有审计跟踪,AI 系统的决策和开发历史都会变成黑箱。
有效的 AI 审计跟踪会建立一条可验证的证据链,把系统开发和运行的各个环节串联起来。这包括谁创建和修改了训练数据集、使用了哪些数据源、数据如何清洗和转换、评估了哪些模型架构、哪些训练配置产生了已部署的模型、模型如何验证、谁批准了部署,以及模型在生产环境中的表现。证据链中的每一环都必须带有时间戳、归属到责任方,并且能够防篡改。
AI-Specific Requirements
AI 审计跟踪应涵盖四个阶段的活动:数据准备、模型开发、部署和生产运行。在数据准备阶段,应记录数据源的识别和获取、数据质量评估、清洗和转换操作、标注活动、数据集版本管理,以及个人数据的处理情况。每项操作都应记录执行该操作的人员或系统身份、时间戳、输入和输出数据集的版本,以及所使用的配置参数。
在模型开发阶段,审计跟踪应记录实验跟踪数据,包括模型架构的选择、超参数配置、训练运行元数据(时长、计算资源、随机种子)、验证集和测试集上的评估指标、候选模型之 间的比较结果,以及选择最终部署模型的理由。这些信息使团队能够事后分析当初为何做出特定的建模决策,并支持可复现性,即重现模型训练过程并取得相近结果的能力。
在部署和生产运行阶段,审计跟踪应记录部署审批流程、生产环境中的模型版本标识、推理量和延迟指标、监控告警和阈值越限、模型漂移检测结果、反馈和纠正记录,以及事件调查文档。审计跟踪必须以持久且可发现篡改的方式存储,理想做法是采用带有密码学完整性校验的仅追加存储,并按照适用的监管要求保留一定期限;视司法管辖区和行业不同,期限可能从几个月到许多年不等。
How Ertas Helps
Ertas Studio 是一款训练工具,不包含审计日志系统,因此审计跟踪本身存放在您自己的系统中。Studio 为其中的训练部分提供素材:它会存储每次训练所用的数据集,以便重复运行;可让您并排比较各次训练;还会在 Hub 中列出您训练过的模型。Studio 的数据集构建工具 Data Craft 会对样本进行版本管理,并跟踪其审批状态。请从这些内容中复制所需信息,写入您自己的记录,说明谁用哪些数据训练了哪个模型,以及为何选中它。
有两个特性让审计跟踪的其余部分更容易维护。第一,训练好的模型归您所有,其版本在您重新训练之前保持不变,因此生产日志中的模型标识对应的是一组确定的权重。第二,当您将模型导出为 GGUF 或 safetensors 并在自己的环境中运行时,每一次推理都发生在您的日志已经覆盖的系统中,不会向 Ertas 发送任何内容。自适应模型端点和企业定制模型构建可以在您自己的云环境或本地部署中运行模型,您的日志记录在那里同样适用。
训练在 Ertas 的云端 GPU 上进行,因此训练数据会上传到 Ertas;请在审计跟踪中记录这次传输,以及任何数据集删除操作。日志存储、防篡改证明、身份和访问日志、保留期限以及面向监管机构的报告,都仍由您负责。
Compliance Checklist
Relevant Ertas Features
- Hub,列出您训练过的每一个模型
- 并行训练,并排比较各次训练结果
- Data Craft 数据集构建工具,提供样本版本管理和审批状态
- 模型导出(GGUF、safetensors)
- 自托管推理,运行时不依赖 Ertas
Related Resources
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.