What is PII 脱敏(PII Redaction)?

    在将数据用于模型训练之前,从数据集中检测并删除或遮蔽个人身份信息以保护个人隐私的过程。

    Definition

    PII(Personally Identifiable Information,个人身份信息)脱敏是一种自动化或半自动化过程,在文本用于模型训练、评估或存储之前,从中识别并删除或替换个人数据元素。PII 包括姓名、电子邮件地址、电话号码、社会安全号码、医疗记录号、金融账户号码、物理地址、出生日期以及任何其他可用于识别特定个人的信息。

    脱敏可以采取多种形式。删除将 PII 替换为通用占位符(例如 '[NAME]' 或 '[EMAIL]')。假名化将真实 PII 替换为逼真但虚假的替代品(例如将 'John Smith' 替换为 'Robert Johnson'),保留文本的结构和可读性,同时消除与真实个人的联系。泛化将具体值替换为更宽泛的类别(例如将 '123 Main St, Springfield, IL' 替换为 '[US_ADDRESS]')。

    PII 脱敏既是法律要求也是 AI 开发的实际必要条件。GDPR、HIPAA、CCPA 和欧盟《人工智能法案》等法规对个人数据在 AI 系统中的处理、存储和使用施加了严格要求。在未经脱敏的 PII 上训练模型会产生多重风险:模型可能记忆并在推理时泄露个人信息,造成隐私违规;训练数据本身如果被未经授权的人员访问则成为责任风险;组织面临不合规数据处理的监管处罚。

    Why It Matters

    训练数据中的 PII 会产生复合风险。如果模型记忆了训练数据中的个人信息,每个与模型交互的用户都可能成为隐私泄露的潜在渠道。模型可能在看似无关的查询回应中暴露某人的医疗状况、财务信息或联系方式。这不是理论风险——研究人员已经证明可以从大型语言模型中提取记忆的个人数据。

    对于处理包含 PII 的数据(客户记录、医疗笔记、法律文件、客服记录)的组织来说,脱敏通常是在任何 ML 管道中使用该数据的不可协商的前提条件。在训练前未能脱敏 PII 会使组织面临 GDPR 罚款(最高全球收入的 4%)、HIPAA 处罚(每个违规类别最高 200 万美元)以及发生泄露时的重大声誉损害。

    How It Works

    PII 检测系统通常结合多种方法。基于规则的检测使用正则表达式和模式匹配来查找电子邮件地址、电话号码、社会安全号码和信用卡号码等结构化 PII——具有可预测模式的格式。命名实体识别(NER)模型检测个人姓名、组织名称和地点引用等非结构化 PII。基于字典的方法与已知列表(姓名数据库、街道地址数据库)进行匹配。

    检测后,脱敏引擎根据配置的策略替换每个检测到的 PII 元素。高级系统在文档内保持一致性——如果 'Jane Doe' 被假名化为 'Sarah Miller',同一文档中的所有出现都使用相同的假名,保留共指关系。质量保证包括对样本进行人工审查,以衡量检测召回率(遗漏的 PII 是合规风险)和精确率(过度脱敏会从训练数据中删除有用信息)。

    Example Use Case

    一家医院希望在临床笔记上微调模型用于出院摘要生成。笔记包含患者姓名、医疗记录号、出生日期和地址。PII 脱敏管道使用正则表达式模式(用于医疗记录号和日期)和医学 NER 模型(用于患者和医生姓名)的组合,检测到 99.3% 的 PII 元素。假名化将真实姓名替换为合成姓名,保留自然语言结构。脱敏后的数据集经隐私官审查、批准用于训练,并生成了一个能准确生成出院摘要且从未见过真实患者身份的模型。

    Key Takeaways

    • PII 脱敏在数据用于模型训练之前删除或遮蔽个人数据。
    • 根据 GDPR、HIPAA、CCPA 和欧盟《人工智能法案》,这是处理个人数据的法律要求。
    • 检测结合正则表达式模式、NER 模型和字典查找以实现全面覆盖。
    • 假名化在消除真实个人标识符的同时保留文本结构。
    • 训练数据中未脱敏的 PII 会产生记忆、泄露和监管处罚的风险。

    How Ertas Helps

    Ertas 没有 PII 脱敏功能。请在数据成为训练数据集之前,在你自己的环境中用隐私团队认可的工具完成个人信息脱敏。Ertas Studio 的训练在 Ertas 的云端 GPU 上进行,因此只上传脱敏后的数据。

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.