AI 稽核軌跡 & AI Compliance

    AI 稽核軌跡在訓練與推論階段應記錄哪些內容,以及哪些部分仍由您的團隊負責

    Overview

    AI 稽核軌跡是一份依時間順序排列的紀錄,載明人工智慧系統在整個生命週期中的各項活動、決策與變更。傳統軟體的稽核日誌主要追蹤使用者操作與系統事件。AI 稽核軌跡還必須記錄機器學習工作流程特有的要素:訓練資料的來源、模型版本控管、超參數變更、評估結果、部署決策,以及推論模式。隨著法規框架愈來愈要求 AI 系統具備可解釋性與問責性,稽核軌跡已成為負責任 AI 開發的基本要求。

    推動 AI 稽核軌跡需求的因素有好幾項。歐盟《人工智慧法》等法規明確要求高風險 AI 系統具備日誌記錄能力。NIST AI RMF 與 ISO/IEC 42001 等框架要求以文件證明風險管理實務。企業客戶在採購時也將可稽核性列為必要條件。在組織內部,稽核軌跡則用來除錯模型行為、調查事件,以及證明已盡應有的注意義務。少了稽核軌跡,AI 系統的決策與它的開發歷程都會成為黑箱。

    有效的 AI 稽核軌跡會建立一條可驗證的證據鏈,串連系統開發與運作的每個環節。內容包括:誰建立和修改了訓練資料集、使用了哪些資料來源、資料如何清理與轉換、評估過哪些模型架構、哪些訓練設定產生了已部署的模型、模型如何驗證、誰核准部署,以及模型在正式環境中的表現。這條鏈上的每個環節都必須標註時間戳記、歸屬於負責的一方,並且能抵抗竄改。

    AI-Specific Requirements

    AI 稽核軌跡應涵蓋四個階段的活動:資料準備、模型開發、部署,以及正式環境運作。在資料準備階段,應記錄資料來源的識別與取得、資料品質評估、清理與轉換作業、標記與註解活動、資料集版本控管,以及個人資料的處理方式。每項作業都應記錄執行者(人員或系統)的身分、時間戳記、輸入與輸出的資料集版本,以及所使用的任何設定參數。

    在模型開發階段,稽核軌跡應記錄實驗追蹤資料,包括模型架構的選擇、超參數設定、訓練執行的中繼資料(時長、運算資源、隨機種子)、驗證集與測試集上的評估指標、候選模型之間的比較結果,以及選定最終部署模型的理由。這些資訊讓團隊能事後分析特定建模決策背後的原因,也支援可重現性,也就是重現模型的訓練過程並得到相近結果的能力。

    在部署與正式環境運作階段,稽核軌跡應記錄部署核准流程、正式環境中的模型版本識別碼、推論量與延遲指標、監控警示與閾值超標、模型漂移偵測結果、回饋與修正紀錄,以及事件調查文件。稽核軌跡必須以持久且可察覺竄改的方式儲存,最好採用具備密碼學完整性驗證的僅附加(append-only)儲存,並依適用的法規要求保存一段期間。視司法管轄區與產業而定,保存期間可能從數個月到許多年不等。

    How Ertas Helps

    Ertas Studio 是一套訓練工具,並未內建稽核日誌系統,因此稽核軌跡本身存放在您自己的系統中。Studio 為其中的訓練部分提供素材:它會儲存每次訓練執行所用的資料集,讓訓練可以重新執行;讓您並排比較各次訓練;並在 Hub 中列出您訓練過的模型。Studio 的資料集建構工具 Data Craft 會為範例建立版本,並追蹤每個範例的核准狀態。請從這些地方擷取所需內容,放進您自己的紀錄,載明誰用哪些資料訓練了哪個模型,以及為什麼選用它。

    有兩項特性讓稽核軌跡的其餘部分更容易維護。訓練好的模型屬於您,而且在您重新訓練之前版本維持不變,因此正式環境日誌中的模型識別碼會對應到一組特定的權重。當您將模型匯出為 GGUF 或 safetensors 並在自己的環境中執行時,每一次推論都發生在您的日誌已涵蓋的系統內,不會傳送任何內容給 Ertas。自適應模型端點與企業客製模型建置可以在您自己的雲端或地端執行模型,由您的日誌機制涵蓋。

    訓練在 Ertas 的雲端 GPU 上執行,因此訓練資料會上傳到 Ertas。請將這次傳輸記入稽核軌跡,資料集的刪除也一併記錄。日誌儲存、竄改偵測、身分與存取日誌、保存期限,以及提交給主管機關的報告,仍由您負責。

    Compliance Checklist

    在您重新訓練之前,模型版本維持不變,因此正式環境日誌可對應到一組權重Supported
    匯出模型權重,在您自己的日誌機制涵蓋的環境中執行推論Supported
    自行託管的模型進行推論時,不會傳送任何資料給 ErtasSupported
    刪除已上傳的訓練資料集Supported
    訓練紀錄:Studio 會儲存每次執行所用的資料集並比較各次執行;將這些內容放進稽核軌跡由您處理Partial
    可察覺竄改、僅附加的日誌儲存Customer Responsibility
    使用者身分與存取日誌Customer Responsibility
    日誌保存,以及提交給主管機關的稽核報告Customer Responsibility

    Relevant Ertas Features

    • Hub,列出您訓練過的每個模型
    • 平行訓練執行,可並排比較
    • Data Craft 資料集建構工具,具備範例版本控管與核准狀態
    • 模型匯出(GGUF、safetensors)
    • 自行託管推論,執行時不依賴 Ertas

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.