模型卡是描述 AI 模型的結構化文件——它被設計來做什麼、如何訓練的、使用了什麼資料、在不同群體和任務中的性能如何,以及已知的局限性是什麼。
這個概念是由 Margaret Mitchell 和 Google 的同事在 2019 年的一篇論文中提出的。在此後的七年裡,模型卡從學術提案演變為行業實踐,再到在歐盟成為法律要求。本文解釋了模 型卡包含什麼、為什麼它在操作上很重要,以及 EU AI Act 附件四對在受監管環境中部署 AI 的組織意味著什麼。
為什麼模型卡在操作上很重要
模型卡的合規案例是真實的,但操作案例更直接地令人信服。
訓練模型的 ML 工程師在 18 個月後就不在了。提供模型的供應商可能在 3 年後就不在了。部署模型的業務背景將會演變。當事情出錯時——或者當某人需要稽核、更新或替換模型時——在訓練時存在的機構知識將消失。
模型卡是允許某人在不從頭開始的情況下理解模型的機構記憶。它回答了事件調查或合規稽核將提出的問題:這個模型是在什麼上訓練的?它是針對哪個群體評估的?識別了什麼失敗模式?原始團隊對這個模型應該和不應該在哪裡使用了解什麼?
沒有模型卡,這些問題通過重建來回答——這需要時間,是不完整的,如果原始團隊不再可用,可能是不可能的。有了模型卡,它們在幾分鐘內就能得到回答。
模型卡應包含什麼
1. 模型詳細資訊
名稱、版本、模型類型(分類、回歸、生成等)、擁有的團隊或組織、訓練日期、上次更新日期、許可證、負責任團隊的聯繫資訊。
這是標題資訊,允許某人識別他們在看什麼以及打電話給誰。
2. 預期用途
模型被設計來做什麼。它明確不是被設計來做什麼。預期用戶是誰。模型被設計用於什麼部署環境。
「不是設計來做」的部分與預期用途同樣重要。一個被設計來幫助客戶服務代理的模型不是被設計來做出自主決定的。一個在英語輸入上訓練的模型不是被設計用於多語言部署的。記錄明確的排除減少了不適當部署的可能性。
3. 訓練資料
源資料集、涵蓋的日期範圍、應用的預處理和清洗步驟、訓練資料中已知的偏見或差距、訓練集總大小。
這一部分是任何對模型行為原因的下游分析的基礎。如果模型表現出偏見,調查將從這裡開始。如果模型在特定群體上表現不佳,訓練資料部分將顯示該群體是否有代表性。
4. 評估資料
使用了什麼資料集來評估模型。評估資料如何收集,以及它與訓練資料有何不同。使用這些特定評估集的理由。
評估資料和訓練資料不應該完全相同——僅在其訓練分布上評估的模型對其在生產中的表現幾乎沒有說明。記錄差距。
5. 性能指標
準確率、精確率、召回率、F1、AUC,或與模型任務相關的任何指標。這些應在評估集上報告,而不是訓練集。
關鍵點:性能指標應按人口統計群體、地理區域或與使用場景相關的其他細分進行分解。整體準確率為 94% 的模型可能對特定人口統計群體的準確率為 82%。單獨的整體指標對任何對影響人的決策進行的模型都是不充分的。

