Ertas 用于 PII 脱敏流水线

    在 Ertas Studio 中训练一个小模型,识别并遮盖文本中的姓名、邮箱、电话号码、地址和证件号码。导出后在自己的服务器上运行,它处理的文档始终留在你手中。适合在文本进入 AI 训练集、搜索索引或下游工具之前做清理的团队。

    The Challenge

    处理客户数据用于 AI/ML 项目的组织必须在任何模型训练或 RAG 摄取之前脱敏 PII。手动脱敏速度慢且容易出错。基于正则表达式的脚本会遗漏边缘情况。云端脱敏工具需要数据出口,而受监管客户禁止这样做。

    The Solution

    借助 Ertas Studio,你可以训练一个按你的数据需求进行脱敏的模型。每条训练示例都把一段文本(USER 轮次)与改写后的同一段文本(ASSISTANT 轮次)配对,改写后的文本用 [NAME]、[EMAIL] 或 [MEDICAL_ID] 等占位符替换个人信息。你可以在 Data Craft 中构建这些示例,由审核人编辑、做版本管理并批准,也可以以 JSONL 格式上传。模型从示例中学习,因此能识别正则脚本容易漏掉的格式,比如出现在不寻常位置的姓名、本地证件号格式,或分成多行书写的地址。

    训练在 Ertas 的云端 GPU 上进行,训练集需要上传到 Ertas。请用合成记录或已经去标识化的文本构建训练集,不要把准备脱敏的原始文档放进去。并行训练几个小模型,用预留的文本段落检查每个模型的漏标实体和过度遮盖,再从 Hub 把表现最好的模型导出为 GGUF 或完整的 safetensors。模型用 llama.cpp、Ollama 或 vLLM 在你自己的服务器上运行,被脱敏的文档始终留在你的基础设施中。像对待其他脱敏环节一样对待它的输出:抽样复核,并让专人检查最关键的情形。

    Key Features

    Studio

    用示例定义 PII 规则

    通过向模型展示每种情形的示例,决定要脱敏哪些实体类型以及处理方式(遮盖、替换为带类型的占位符或删除)。要修改规则,只需修改示例并重新训练。

    Studio

    在 Data Craft 中审核示例

    以 USER 和 ASSISTANT 轮次构建训练对,进行编辑和版本管理,并跟踪哪些已获审核人批准,让模型从团队认可的脱敏结果中学习。

    Studio

    部署前衡量漏标

    并行训练多个任务,用预留文本段落进行比较,统计漏标的实体和过度遮盖的文本,再选定要部署的模型。

    Hub

    在自己的服务器上运行

    将模型导出为 GGUF 或完整的 safetensors,用 llama.cpp、Ollama 或 vLLM 在你的网络内运行。推理时脱敏的文档都留在网络内部。

    Example Workflow

    一家服务提供商收到客户的医疗文档,用于临床 NLP 项目,需要在项目组任何人阅读之前删除患者姓名、病历号和地址。团队按客户的格式生成几千份合成临床记录,其中的患者、病历号和地址都是虚构的,并在 Data Craft 中构建训练对:原始记录作为 USER 轮次,脱敏后的记录作为 ASSISTANT 轮次。客户的隐私负责人审核并批准一部分示例。团队在 Ertas Studio 中基于 Qwen 2.5 1.5B 和 Llama 3.2 3B 并行训练,用预留的合成记录以及客户手工去标识化的一小批文档逐一检验。他们从 Hub 把表现更好的模型导出为 GGUF,客户在自己网络内的一台服务器上用 llama.cpp 运行它,处理真实文档。脱敏结果在交给 NLP 团队之前,由客户的员工抽查。

    Compliance & Security

    脱敏模型只是去标识化流程中的一项控制措施。这个流程是否符合 GDPR 的数据最小化原则、HIPAA 的去标识化标准或欧盟《人工智能法》的数据治理要求,应由你的组织及其顾问判断。Ertas 改变的是这项工作在哪里进行。模型导出后在你自己的服务器上运行,它处理的文档留在你的基础设施中。训练在 Ertas 的云端 GPU 上进行,所以训练集请只用合成数据或已去标识化的数据,不再需要时从 Studio 删除数据集。在依赖脱敏结果之前请先抽样复核,因为没有任何模型能识别所有实体。

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.