
模型卡AI治理EU AI Act模型文档负责任AI
什么是AI模型卡?为什么EU AI Act使其成为非可选项
模型卡记录AI系统的训练内容、擅长什么、哪里失败以及针对谁测试。EU AI Act的附录IV使此文档成为法律要求。
EErtas Team·
模型卡是描述AI模型的结构化文档——它被设计做什么、如何训练、使用了什么数据、在不同群体和任务中的表现如何、以及已知的局限性是什么。
这个概念由Margaret Mitchell及其Google同事在2019年的论文中提出。七年来,模型卡已从学术提案发展为行业实践,并在欧盟成为法律要求。本文解释模型卡包含什么、为什么在运营上重要、以及EU AI Act附录IV对在受监管环境中部署AI的组织意味着什么。
模型卡应包含的内容
1. 模型详情
名称、版本、模型类型、所属团队、训练日期、许可证、联系信息。
2. 预期用途
模型被设计做什么。它明确不被设计做什么。"不被设计做什么"部分与预期用途同样重要。
3. 训练数据
源数据集、覆盖的日期范围、应用的预处理和清洗步骤、训练数据中的已知偏差或缺口。
4. 评估数据
用于评估模型的数据集。评估数据如何收集,以及它与训练数据的区别。
5. 性能指标
准确率、精确率、召回率、F1等。关键是:性能指标应按人口统计群体、地理区域或其他相关细分进行分解。
6. 已知局限性
模型处理不好的输入类型。它倾向于犯什么错误。这是实践中最常被低估的部分。
7. 伦理考虑
模型错误或滥用的潜在危害。采取的缓解措施。
8. 注意事项和建议
下游部署者在部署模型前应知道什么。
EU AI Act附录IV:从最佳实践到法律要求
对于EU AI Act下的高风险AI系统,附录IV规定了强制性的技术文档要求。元素1到6直接映射到模型卡字段。对于高风险系统,模型卡不是最佳实践产物——它是法律文件。
微调模型的模型卡
当你微调基础模型时,你需要一个微调版本的模型卡。基础模型模型卡的链接不够。
微调模型卡应记录:
- 微调数据集包含什么及其训练意图
- 微调改变了什么能力
- 基础模型基准任务的性能如何变化
- 对微调版本具体运行了什么评估