模型治理 & AI Compliance
模型治理與模型風險管理如何適用於您訓練並擁有的客製 AI 模型
Overview
模型治理是組織在 AI 模型整個生命週期中用 來管理模型的一套政策、流程與控制措施,涵蓋從初期開發、正式部署、監控到退役的各個階段。隨著 AI 系統對商業決策、客戶體驗與法規結果的影響日增,模型治理已從良好實務轉變為主管機關的期待。美國銀行業監理機關(聯準會、OCC 與 FDIC)長期以來依據 SR 11-7 等指引,期待受監理機構落實模型風險管理;如今歐盟《人工智慧法》、NIST AI RMF,以及 ISO/IEC 42001 等標準,則將類似的期待延伸到各個產業。
模型治理處理好幾個面向。它確認模型以適當的資料與方法開發、在部署前經獨立的一方驗證、在正式環境中持續監控效能衰退與漂移,並在不再達到品質或合規標準時退役。它也透過界定生命週期各階段由誰負責模型開發、驗證、核准與持續監督,建立明確的權責。
隨著大型語言模型與基礎模型出現,挑戰也隨之擴大。傳統的模型治理框架是為輸入、輸出與風險輪廓都定義明確的統計模型而設計。現代 AI 系統更複雜、能力更強,也更難完整驗證。組織必須調整治理框架,以因應生成式 AI 的特有風險,包括幻覺、提示詞注入、訓練資料記憶,以及難以為開放式的模型能力定義完整測試集等問題。
AI-Specific Requirements
模型治理框架通常要求建立模型清冊,列出所有開發中與正式環境中的 AI 模型,包括其用途、風險分類、開發狀態、部署位置、負責人與驗證狀態。這份清冊是治理監督的基礎,讓組織能依風險排定審查的優先順序,並確保每個模型都納入治理框架。主管機關與稽核人員經常以模型清冊作為評估組織 AI 治理成熟度的起點。
模型驗證是治理的基石,要求在部署前獨立評估模型的效能、限制與風險。驗證應包括概念健全性審查(評估建模方法是否適合該使用情境)、結果分析(使用保留資料測試模型的準確度、公平性與穩健性),以及持續監控驗證(確認監控控制措施能夠偵測效能衰退)。對於高風險模型,驗證應由獨立於開發團隊之外的人員執行。
變更管理控制措施規範模型如何更新、重新訓練與重新部署。對模型的任何重大變更,不論涉及訓練資料、模型架構、超參數或部署設定,都應經過明確的核准流程,包括影響評估、測試、驗證,以及由獲授權的利害關係人簽核。對模型及其相關產出物(訓練資料、程式碼、設定)進行版本控管,可在新版模型於正式環境出現問題時進行回復。退役流程則確保已淘汰的模型妥善下線,並讓下游系統改用替代模型或其他流程。
How Ertas Helps
治理始於清冊,並仰賴確切掌握正式環境中是哪一個模型。在 Ertas Studio 中訓練的客製模型屬於您,而且在您重新訓練之前版本維持不變,因此清冊中的每一筆項目都對應到您持有的一組權重。Hub 會列出您訓練過的模型,Studio 則會儲存每次訓練所用的資料集,並讓您比較各次訓練,讓驗證人員看得到模型選擇背後的訓練資料與其他備選方案。
由於您可以將模型匯出為 GGUF 或 safetensors,並在您自己的環境中執行,部署、回復與退役都會經過您自己的變更管理,推論資料也不會傳到 Ertas。重新訓練後的模型是新版本,因此您 可以在切換前先驗證它。使用自適應模型端點時,新訓練的模型必須先通過您的評測,才會開始接手請求,困難的案例則繼續交由您原本使用的前沿模型處理。該端點與企業客製模型建置可以在您自己的雲端或地端執行模型。
訓練在 Ertas 的雲端 GPU 上執行,因此訓練資料會上傳到 Ertas。請先將敏感資料最小化,並刪除不再需要的資料集。風險分類、獨立驗證、核准流程、效能監控與漂移偵測,仍由您負責。
Compliance Checklist
Relevant Ertas Features
- Hub,列出您訓練過的每個模型
- 平行訓練執行,可並排比較
- 模型匯出(GGUF、safetensors)
- 自適應模型端點,以評測把關上線,部署在您的雲端或地端
- 企業客製模型建置,訓練好的模型歸您所有
Related Resources
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.