Ertas 用於 PII 去識別化流水線

    在 Ertas Studio 中訓練一個小型模型,辨識並遮蔽文字中的姓名、電子郵件、電話號碼、地址與證件號碼。匯出後在自己的伺服器上執行,它處理的文件始終留在你手中。適合在文字進入 AI 訓練集、搜尋索引或下游工具之前進行清理的團隊。

    The Challenge

    處理客戶資料用於 AI/ML 專案的組織必須在任何模型訓練或 RAG 擷取之前去識別化 PII。手動去識別化速度慢且容易出錯。基於正規表示式的腳本會遺漏邊緣情況。雲端去識別化工具需要資料出口,而受監管客戶禁止這樣做。

    The Solution

    透過 Ertas Studio,你可以訓練一個依照你的資料需求進行去識別化的模型。每筆訓練範例都將一段文字(USER 輪次)與改寫後的同一段文字(ASSISTANT 輪次)配對,改寫後的文字以 [NAME]、[EMAIL] 或 [MEDICAL_ID] 等預留標記取代個人資訊。你可以在 Data Craft 中建立這些範例,由審核者編輯、做版本管理並核准,也可以用 JSONL 格式上傳。模型從範例中學習,因此能辨識正規表示式腳本容易遺漏的格式,例如出現在不尋常位置的姓名、在地的證件號碼格式,或分成多行書寫的地址。

    訓練在 Ertas 的雲端 GPU 上進行,訓練集需要上傳到 Ertas。請用合成紀錄或已經去識別化的文字建立訓練集,不要放入準備處理的原始文件。平行訓練幾個小型模型,用保留的文字段落檢查每個模型的漏標實體與過度遮蔽,再從 Hub 將表現最好的模型匯出為 GGUF 或完整的 safetensors。模型以 llama.cpp、Ollama 或 vLLM 在你自己的伺服器上執行,經過處理的文件始終留在你的基礎設施中。請像對待其他去識別化步驟一樣看待它的輸出:抽樣複核,並由專人檢查最關鍵的情況。

    Key Features

    Studio

    以範例定義 PII 規則

    透過向模型展示各種情況的範例,決定要處理哪些實體類型以及處理方式(遮蔽、替換為帶類型的預留標記或刪除)。要修改規則,只需修改範例並重新訓練。

    Studio

    在 Data Craft 中審核範例

    以 USER 與 ASSISTANT 輪次建立訓練配對,進行編輯與版本管理,並追蹤哪些已獲審核者核准,讓模型從團隊認可的去識別化結果中學習。

    Studio

    部署前衡量漏標

    平行訓練多個模型,以保留的文字段落進行比較,統計漏標的實體與過度遮蔽的文字,再選定要部署的模型。

    Hub

    在自己的伺服器上執行

    將模型匯出為 GGUF 或完整的 safetensors,以 llama.cpp、Ollama 或 vLLM 在你的網路內執行。推論時處理的文件都留在網路內部。

    Example Workflow

    一家服務提供商收到客戶的醫療文件,用於臨床 NLP 專案,需要在專案成員閱讀之前刪除病患姓名、病歷號碼與地址。團隊依客戶的格式產生數千份合成臨床紀錄,其中的病患、病歷號碼與地址都是虛構的,並在 Data Craft 中建立訓練配對:原始紀錄作為 USER 輪次,去識別化後的紀錄作為 ASSISTANT 輪次。客戶的隱私負責人審核並核准一部分範例。團隊在 Ertas Studio 中以 Qwen 2.5 1.5B 和 Llama 3.2 3B 平行訓練,用保留的合成紀錄以及客戶手動去識別化的一小批文件逐一檢驗。他們從 Hub 將表現較好的模型匯出為 GGUF,客戶在自家網路內的一台伺服器上以 llama.cpp 執行,處理真實文件。去識別化結果在交給 NLP 團隊之前,由客戶的人員抽查。

    Compliance & Security

    遮蔽個資的模型只是去識別化流程中的一項控制措施。這個流程是否符合 GDPR 的資料最小化原則、HIPAA 的去識別化標準或歐盟《人工智慧法》的資料治理要求,應由你的組織及其顧問判斷。Ertas 改變的是這項工作在哪裡進行。模型匯出後在你自己的伺服器上執行,它處理的文件留在你的基礎設施中。訓練在 Ertas 的雲端 GPU 上進行,因此訓練集請只使用合成資料或已去識別化的資料,不再需要時從 Studio 刪除資料集。在依賴處理結果之前請先抽樣複核,因為沒有任何模型能辨識所有實體。

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.