NIST AI RMF(NIST 人工智能风险管理框架) & AI Compliance

    NIST 人工智能风险管理框架如何适用于训练和运行定制 AI 模型

    Overview

    NIST 人工智能风险管理框架(AI RMF 1.0)由美国国家标准与技术研究院于2023年1月发布,是一个自愿采用的框架,旨在帮助组织在 AI 系统的整个生命周期内管理相关风险。AI RMF 是一种灵活、结构化的方法,组织可以根据自身的具体情况、能力和风险承受度加以调整。它已成为美国 AI 治理的主要参考框架之一,在国际上也日益受到认可。NIST 的生成式 AI 概况(NIST AI 600-1,2024年7月)将其扩展到生成式模型。

    该框架分为两个主要部分:阐述 AI 风险的基础信息,以及提供可操作指导的核心功能。核心由四项功能组成:治理(Govern)、映射(Map)、测量(Measure)和管理(Manage)。每项功能都包含若干类别和子类别,描述具体的成果和活动。这种结构有意与 NIST 网络安全框架按功能组织的方式保持一致,让已经熟悉 NIST 标准的组织更容易上手。

    对 AI 开发团队而言,AI RMF 为识别、评估和缓解 AI 风险提供了共同语言和系统化方法。它涉及偏差与公平、透明度与可解释性、隐私、安全保障、安全性和问责等方面的风险。该框架把 AI 风险管理视为更广泛的组织风险管理的一部分,使 AI 特有的风险与运营、财务和声誉风险一并考虑。

    AI-Specific Requirements

    治理功能为 AI 风险管理建立组织架构、政策和流程。它要求培育具有风险意识的文化,明确 AI 治理的角色和职责,实施 AI 开发和部署的政策与程序,并建立持续监测和评审机制。组织必须记录其 AI 风险承受度,规定已识别风险的上报程序,并以充足的资源和管理层的承诺支持 AI 治理。

    映射功能侧重于理解 AI 系统所处的运行环境。这包括识别 AI 系统并对其分类,评估 AI 系统故障或被滥用可能造成的影响,了解用于训练和运行的数据的特征,以及评估运行环境和利益相关方的期望。具体到训练数据,映射功能要求了解数据来源,评估数据质量和代表性,识别潜在偏差,并记录数据收集和处理方法。

    测量功能通过定量和定性方法评估和分析 AI 风险。组织应实施测试和评估程序,依据既定指标衡量 AI 系统的性能,评估相关人口群体之间的偏差与公平,评估安全和隐私风险,并随着系统和环境的变化定期重新评估。管理功能随后利用映射和测量的结果,对已识别的风险进行优先排序和处置,实施控制措施,向利益相关方通报风险信息,并监测风险处置的有效性。

    How Ertas Helps

    框架要求您映射的若干风险,源于数据和模型所在的位置。在 Ertas Studio 中,训练在 Ertas 的云端 GPU 上进行,因此训练数据集会上传到 Ertas 并被存储,以便重复运行;在不再需要时,您可以将其删除。请在映射工作中记录这一数据流,并通过使用去标识化或经过最小化的数据进行训练来降低隐私风险,每条样本都在 Studio 的数据集构建工具 Data Craft 中编辑和审批。

    在测量方面,Studio 可让您并行运行多次训练并加以比较,为在多个候选模型中做出选择提供依据。在您的场景中真正重要的测试,例如偏差、稳健性和任务准确率,由您自行设计。在管理方面,训练好的模型归您所有:将其导出为 GGUF 或 safetensors,在您自己的环境中运行,推理数据不会到达 Ertas。模型版本在您重新训练之前保持不变,因此您测量过的模型,就是生产环境中的模型。自适应模型端点和企业定制模型构建可以在您自己的云环境或本地部署中运行模型。

    治理功能完全由您负责:政策、角色、风险承受度和利益相关方参与。风险登记册及为其提供输入的影响评估,也同样由您负责。

    Compliance Checklist

    训练好的模型归您所有,由您决定在哪里运行(管理)Supported
    导出模型权重,在您自己的环境中运行推理Supported
    在自托管模型上推理,不会向 Ertas 发送任何数据Supported
    模型版本在您重新训练之前保持不变(管理)Supported
    删除已上传的训练数据集Supported
    比较候选模型(测量):Studio 可比较各次训练;针对具体场景的测试由您完成Partial
    数据来源记录(映射):Studio 存储每次训练所用的数据集;记录其来源由您完成Partial
    AI 治理政策、角色和风险承受度(治理)Customer Responsibility
    偏差、公平和影响评估Customer Responsibility

    Relevant Ertas Features

    • 并行训练,并排比较各次训练结果
    • 模型导出(GGUF、safetensors)
    • 自托管推理,运行时不依赖 Ertas
    • Data Craft 数据集构建工具,用于编辑和审批每条训练样本
    • 自适应模型端点,可在您的云环境或本地部署中运行

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.