What is Model Card（模型卡片）?

Definition

模型卡片是附隨機器學習模型的結構化文件，提供關於其開發、能力、局限性和適當使用方式的透明資訊。由 Mitchell 等人在 2019 年於 Google 提出，模型卡片框架標準化了模型的記錄方式，就像營養標籤標準化了食品產品資訊一樣。模型卡片現已成為廣泛採用的最佳實踐，並日益成為監管要求。

一份完整的模型卡片包含幾個標準部分：模型描述（架構、大小、訓練方法）、預期用途（模型為何設計以及明確不為何設計）、訓練資料（來源描述、大小、組成、預處理）、評估結果（跨不同子群和測試集的效能指標）、局限性和偏差（已知的失敗模式、人口統計偏差、能力邊界）、倫理考量（潛在傷害、緩解策略、負責任使用指南）和維護資訊（誰維護模型、如何回報問題、更新排程）。

模型卡片服務於多種受眾。對於開發者，它們提供正確整合模型所需的技術資訊。對於終端使用者，它們設定了關於模型能做什麼和不能做什麼的期望。對於監管機構和稽核員，它們提供合規評估所需的文件。對於部署模型的組織，它們作為風險管理文件，記錄模型開發中的盡職調查。

Why It Matters

歐盟 AI 法案要求記錄高風險 AI 系統的文件，這些要求與模型卡片的要求高度相似——包括訓練資料來源、效能指標、已知局限性和預期用途。在歐盟部署 AI 而沒有充足文件的組織面臨罰款和部署限制。模型卡片是滿足這些文件要求的實際機制。

除了合規之外，模型卡片還防止誤用。在英語文本上訓練並在美國文化背景下評估的模型，當用於其他語言或文化時可能表現不佳或產生有害輸出。如果沒有記錄這些局限性的模型卡片，下游使用者無法知道模型的邊界。模型卡片使這些局限性明確，使得部署決策更加知情並防止可預見的傷害。

How It Works

模型卡片的建立通常整合到模型開發工作流程中。在訓練期間，關於訓練過程的元資料（資料來源、超參數、訓練時長、使用的硬體）透過實驗追蹤工具自動捕獲。訓練後，透過在標準和領域特定基準上運行模型生成評估結果，結果按相關子群（語言、人口統計、難度級別）進行分解。

然後，模型開發者根據對模型能力的理解和評估結果撰寫敘述性部分——預期用途、局限性、倫理考量。完成的模型卡片與模型權重一起發佈，通常在模型的倉庫頁面上（例如 Hugging Face Hub）。負責任的團隊在發現關於局限性或偏差的新資訊時更新模型卡片，將其視為活的文件而非一次性產出物。

Example Use Case

一家醫療 AI 公司為其臨床筆記摘要模型發佈了模型卡片。該卡片記錄了模型是在美國醫院的英語臨床筆記（2015-2024 年）上訓練的，在其測試集上達到 91% 的 ROUGE-L 但在英國臨床筆記上僅達 73%（因術語差異），尚未在小兒科筆記上評估，且不應作為臨床決策的唯一依據。當一家海外醫院考慮部署該模型時，模型卡片幫助他們了解效能差距並在部署前規劃適當的驗證。

Key Takeaways

• 模型卡片是描述模型能力、局限性和適當使用方式的標準化文件。
• 它們同時服務於開發者、終端使用者、監管機構和組織風險管理。
• 歐盟 AI 法案要求的文件內容與模型卡片內容高度一致。
• 關鍵部分包括預期用途、訓練資料、評估結果、局限性和倫理考量。
• 模型卡片是活的文件，應在發現新的局限性或偏差時進行更新。