模型治理 & AI Compliance
模型治理和模型风险管理如何适用于您训练并拥有的定制 AI 模型
Overview
模型治理是组织用来在 AI 模型整个生命周期内管理模型的一整套政策、流程 和控制措施,涵盖从最初开发到生产部署、监测直至退役的全过程。随着 AI 系统对业务决策、客户体验和监管结果的影响越来越大,模型治理已从良好实践变为监管期望。美国银行业监管机构(美联储、OCC 和 FDIC)长期以来依据 SR 11-7 等指引,要求开展模型风险管理;如今,欧盟《人工智能法案》、NIST AI RMF 以及 ISO/IEC 42001 等标准正把类似的期望推广到各个行业。
模型治理关注几方面的问题。它检查模型是否采用了适当的数据和方法进行开发,是否在部署前经过独立方验证,是否在生产环境中受到性能下降和漂移方面的监测,以及在不再满足质量或合规标准时是否退役。它还通过明确生命周期各阶段由谁负责模型开发、验证、审批和持续监督,建立清晰的问责机制。
随着大语言模型和基础模型的出现,这一挑战愈发艰巨。传统的模型治理框架是为输入、输出和风险特征都定义清晰的统计模型设计的。现代 AI 系统更复杂、能力更强,也更难全面验证。组织必须调整治理框架,以应对生成式 AI 特有的风险,包括幻觉、提示词注入、训练数据记忆,以及难以为开放式模型能力制定完整测试集等问题。
AI-Specific Requirements
模型治理框架通常要求建立模型清单,对所有处于开发和生产阶段的 AI 模型进行编目,内容包括其用途、风险分类、开发状态、部署位置、责任人和验证状态。这份清单是治理监督的基础,使组织能够按风险确定审查工作的优先级,并确保每个模型都纳入治理框架。监管机构和审计师经常把模型清单作为评估组织 AI 治理成熟度的起点。
模型验证是治理的基石,要求在部署前对模型的性能、局限和风险进行独立评估。验证应包括概念合理性审查(评估建模方法是否适合该用例)、结果分析(使用留出数据测试模型的准确性、公平性和稳健性)以及持续监测验证(核实监测控制能否发现性能下降)。对于高风险模型,验证应由独立于开发团队的人员执行。
变更管理控制规定模型如何更新、重新训练和重新部署。对模型的任何重大变更,无论涉及训练数据、模型架构、超参数还是部署配置,都应经过既定的审批流程,包括影响评估、测试、验证以及获授权利益相关方的签字确认。对模型及其相关工件(训练数据、代码、配置)进行版本控制,可以在新模型版本于生产环境中出现问题时进行回滚。退役程序则确保弃用的模型被妥善停用,下游系统转而使用替代模型或替代流程。
How Ertas Helps
治理始于一份清单,并且要求准确知道生产环境中运行的是哪个模型。在 Ertas Studio 中训练的定制模型归您所有,其版本在您重新训练之前保持不变,因此清单中的每个条目都对应您持有的一组确定的权重。Hub 会列出您训练过的模型,Studio 会存储每次训练所用的数据集并可让您比较各次训练,从而为验证人员提供某个模型选择背后的训练数据和备选方案。
由于您可以将模型导出为 GGUF 或 safetensors 并在自己的环境中运行,部署、回滚和退役都通过您自己的变更管理进行,推理数据也不会到达 Ertas。重新训练得到的模型是一个新版本,因此您可以在切换之前先对其进行验证。使用自适应模型端点时,新训练的模型只有在通过您的评估之后才会接管请求,困难的请求仍交给您已在使用的前沿模型处理。自适应模型端点和企业定制模型构建可以在您自己的云环境或本地部署中运行模型。
训练在 Ertas 的云端 GPU 上进行,因此训练数据会上传到 Ertas;请先尽量减少其中的敏感数据,并删除不再需要的数据集。风险分类、独立验证、审批流程、性能监测和漂移检测,都仍由您负责。
Compliance Checklist
Relevant Ertas Features
- Hub,列出您训练过的每一个模型
- 并行训练,并排比较各次训练结果
- 模型导出(GGUF、safetensors)
- 自适应模型端点,以评估结果把关上线,可在您的云环境或本地部署中运行
- 企业定制模型构建,训练好的模型归您所有
Related Resources
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.