What is PII Redaction(PII 遮蔽)?

    在使用資料進行模型訓練前,檢測並移除或遮罩個人可識別資訊的過程。

    Definition

    PII(個人可識別資訊)遮蔽是在文字用於模型訓練、評估或儲存之前,自動或半自動識別並移除或替換個人資料元素的過程。PII 包括姓名、電子郵件地址、電話號碼、社會安全號碼、醫療記錄號碼、金融帳戶號碼、實體地址、出生日期,以及任何可用於識別特定個人的其他資訊。

    遮蔽可以採取多種形式。移除是將 PII 替換為通用佔位符(例如 '[NAME]' 或 '[EMAIL]')。假名化是將真實 PII 替換為逼真但虛假的替代品(例如將 'John Smith' 替換為 'Robert Johnson'),保持文字的結構和可讀性同時消除與真實個人的連結。泛化是將特定值替換為更廣泛的類別(例如將 '123 Main St, Springfield, IL' 替換為 '[US_ADDRESS]')。

    PII 遮蔽既是法律要求也是 AI 開發的實際必要性。GDPR、HIPAA、CCPA 和歐盟 AI 法案等法規對個人資料在 AI 系統中的處理、儲存和使用施加了嚴格的要求。在未遮蔽 PII 的資料上訓練模型會造成多重風險:模型可能記憶並在推論時吐出個人資訊,造成隱私侵犯;訓練資料本身如被未授權方存取則成為負擔;組織面臨不合規資料處理的監管處罰。

    Why It Matters

    訓練資料中的 PII 會造成複合風險。如果模型從訓練資料中記憶了個人資訊,每個與模型互動的使用者都成為隱私侵犯的潛在通道。模型可能在看似無關的查詢回應中洩露某人的醫療狀況、財務資訊或聯繫方式。這不是理論風險——研究人員已經展示了從大型語言模型中提取記憶的個人資料。

    對於處理包含 PII 資料的組織(客戶記錄、醫療筆記、法律文件、客服對話記錄),遮蔽通常是在任何 ML 管線中使用該資料的不可妥協的前提。未在訓練前遮蔽 PII 會使組織面臨 GDPR 罰款(最高全球收入的 4%)、HIPAA 處罰(每個違規類別最高 200 萬美元),以及如果發生資料洩露時的重大聲譽損害。

    How It Works

    PII 偵測系統通常結合多種方法。基於規則的偵測使用正則表達式和模式匹配來發現結構化的 PII,如電子郵件地址、電話號碼、社會安全號碼和信用卡號碼——這些格式具有可預測的模式。命名實體識別(NER)模型偵測非結構化的 PII,如個人姓名、組織名稱和地點引用。基於字典的方法對照已知列表(姓名資料庫、街道地址資料庫)進行匹配。

    偵測後,遮蔽引擎根據配置的策略替換每個偵測到的 PII 元素。進階系統在文件內維持一致性——如果 'Jane Doe' 被假名化為 'Sarah Miller',同一文件中的所有出現都使用相同的假名,保留共指關係。品質保證包括對樣本的人工審查,以衡量偵測召回率(遺漏的 PII 是合規風險)和精確率(過度遮蔽會從訓練資料中移除有用的資訊)。

    Example Use Case

    一家醫院想要在臨床筆記上微調模型以用於出院摘要生成。筆記包含患者姓名、醫療記錄號碼、出生日期和地址。PII 遮蔽管線使用正則表達式模式(用於 MRN 和日期)和醫療 NER 模型(用於患者和醫護人員姓名)的組合偵測了 99.3% 的 PII 元素。假名化將真實姓名替換為合成姓名,保持自然語言結構。遮蔽後的資料集經隱私官審查、批准用於訓練,並產生了一個能夠生成準確出院摘要而從未見過真實患者身份的模型。

    Key Takeaways

    • PII 遮蔽在用於模型訓練之前從資料集中移除或遮罩個人資料。
    • GDPR、HIPAA、CCPA 和歐盟 AI 法案在個人資料處理方面對此有法律要求。
    • 偵測結合正則表達式模式、NER 模型和字典查找以實現全面覆蓋。
    • 假名化在消除真實個人識別碼的同時保持文字結構。
    • 訓練資料中未遮蔽的 PII 會造成記憶、吐出和監管處罰的風險。

    How Ertas Helps

    Ertas Data Suite 在其清理階段包含 PII 偵測和遮蔽功能,在資料用於 Ertas Studio 微調之前自動識別和遮罩個人資訊,幫助組織維持對隱私法規的合規性。

    Related Resources

    Ship AI that runs on your users' devices.

    Early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.