NIST AI RMF(AI 風險管理框架) & AI Compliance
NIST AI 風險管理框架如何適用於客製 AI 模型的訓練與執行
Overview
NIST AI 風險管理框架(AI RMF 1.0)由美國國家標準與技術研究院於 2023年1月發布,是一套自願採用的框架,協助組織在 AI 系統的整個生命週期中管理相關風險。AI RMF 採取彈性且有結構的做法,組織可依自身的情境、能力與風險容忍度加以調整。它已成為美國 AI 治理的主要參考框架之一,在國際上也日益受到認可。NIST 的生成式 AI 剖面(NIST AI 600-1,2024年7月)將它延伸適用於生成式模型。
這套框架分為兩大部分:界定 AI 風險的基礎資訊,以及提供可執行指引的核心功能。核心包含四項功能:治理(Govern)、映射(Map)、衡量(Measure)與管理(Manage)。每項功能下設類別與子類別,描述具體的成果與活動。這種結構刻意與 NIST 網路安全框架依功能組織的方式一致,讓已熟悉 NIST 標準的組織容易上手。
對 AI 開發團隊而言,AI RMF 提供一套共同語言與系統化方法,用來識別、評估並降低 AI 風險。它涵蓋與偏誤及公平性、透明度與可解釋性、隱私、資訊安全、安全性及問責相關的風險。這套框架將 AI 風險管理視為組織整體風險管理的一部分,讓 AI 特有的風險與營運、財務及聲譽風險一併考量。
AI-Specific Requirements
治理功能建立 AI 風險管理所需的組織架構、政策與流程。它要求培養重視風險的文化、界定 AI 治理的角色與職責、實施 AI 開發與部署的政策與作業流程,並建立持續監控與審查的機制。組織必須記錄其 AI 風險容忍度、界定已識別風險的升級處理流程,並以充足的資源與高階主管的承諾支持 AI 治理。
映射功能著重於了解 AI 系統運作的情境。這包括識別 AI 系統並加以分類、評估 AI 系統失效或遭誤用的潛在影響、了解用於訓練與運作之資料的特性,以及評估運作環境與利害關係人的期待。就訓練資料而言,映射功能要求了解資料來源、評估資料品質與代表性、識別潛在偏誤,並記錄資料收集與處理的 方法。
衡量功能透過量化與質性方法,評估與分析 AI 風險。組織應實施測試與評估作業、依既定指標衡量 AI 系統的效能、評估不同人口群體間的偏誤與公平性、評估資訊安全與隱私風險,並隨著系統與情境的演變定期重新評估。管理功能則運用映射與衡量的產出,排定已識別風險的優先順序並加以處理、實施控制措施、向利害關係人傳達風險資訊,並監控風險處理的成效。
How Ertas Helps
框架要求您映射的風險中,有好幾項來自資料與模型所在的位置。在 Ertas Studio 中,訓練在 Ertas 的雲端 GPU 上執行,因此訓練資料集會上傳到 Ertas 並加以儲存,讓訓練可以重新執行;資料集不再需要時,您可以將其刪除。請在映射工作中記錄這道資料流,並使用去識別化或最小化的資料進行訓練來降低隱私風險,每個範例都可在 Studio 的資料集建構工具 Data Craft 中編輯與核准。
在衡量方面,Studio 讓您平行執行多次訓練並加以比較,為您在候選模型之間做選擇提供依據。在您的情境中真正重要的測試,例如偏誤、穩健性與任務準確度,則由您設計。在管理方面,訓練好的模型屬於您:將它匯出為 GGUF 或 safetensors,並在您自己的環境中執行,推論資料就不會傳到 Ertas。在您重新訓練之前,模型版本維持不變,因此您衡量過的模型,就是正式環境中的模型。自適應模型端點與企業客製模型建置可以在您自己的雲端或地端執行模型。
治理功能完全由您負責:政策、角色、風險容忍度與利害關係人參與。風險登錄冊, 以及作為其依據的影響評估,也同樣由您負責。
Compliance Checklist
Relevant Ertas Features
- 平行訓練執行,可並排比較
- 模型匯出(GGUF、safetensors)
- 自行託管推論,執行時不依賴 Ertas
- Data Craft 資料集建構工具,可編輯並核准每個訓練範例
- 自適應模型端點,部署在您的雲端或地端
Related Resources
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.