Ertas 助力命名实体识别

    训练 NER 模型,识别并提取您所在行业使用的实体类型:人名、组织、产品、医学术语、法律引用,以及您自定义的类型。

    The Challenge

    命名实体识别是从非结构化文本中提取结构化信息的基础。通用 NER 模型可以识别人名、地点和组织等常见实体,但在领域特定实体类型上表现不佳。医学 NER 系统需要识别药品名称、剂量单位、解剖术语和 ICD 编码。法律系统需要识别案例引用、法规引用、当事人名称和司法管辖区。金融系统需要提取股票代码、带货币的金额、监管机构名称和特定金融工具。

    构建自定义 NER 模型传统上需要深厚的 NLP 专业知识、复杂的标注工具和大量的工程投入来部署和维护。团队在开始训练之前就要花数月时间制定标注指南、衡量标注者间一致性和选择模型架构。结果往往是一个脆弱的流水线,在遇到未明确训练过的实体格式时就会崩溃——新的药物命名规范、不寻常的引用格式,或与预期模式不匹配的外国组织名称。

    The Solution

    Ertas 借助开源语言模型广泛的语言理解能力,把微调集中在您所在领域特有的实体规律上,让定制 NER 变得简单。团队不必从零训练传统 NER 模型,而是在 Ertas Studio 中用文本示例微调生成式模型,每条示例都附上其中包含的实体,以 JSON 等结构化格式写出。模型既根据实体本身的形式,也根据周围的上下文来识别实体。

    由于基础模型本身已经很好地理解语言,微调后的模型通常能处理没有明确见过的实体格式,例如出现在常见句式位置上的新药名,或出现在组织通常承担的角色中的陌生组织名。在依赖这一点之前,团队应先用自己的预留示例加以验证。Studio 接受 JSONL 格式的训练数据,包含输入文本和结构化的实体输出;Studio 的引导式数据集构建器 Data Craft 让标注人员在同一处编辑和批准示例。训练好的模型从 Hub 导出为 GGUF 或 safetensors,在您自己的服务器上运行:批量任务用 Ollama,实时提取用 vLLM,处理的文本留在您的网络内。训练在 Ertas 的云端 GPU 上进行,标注示例会上传到 Ertas,因此如果其中含有个人信息,请在上传前把真实姓名和身份标识替换为逼真的替代值。

    Key Features

    Studio

    定制实体类型训练

    定义您自己的实体类型,训练模型从文本中提取它们。由于模型输出的是结构化 JSON,您的输出模式可以包含嵌套实体、重叠片段或实体之间的关系,训练示例会教会模型这套模式。

    Studio

    在 Data Craft 中审核标注

    在 Studio 的引导式数据集构建器 Data Craft 中构建和完善标注示例。标注人员可以编辑实体输出、保存数据集版本,并跟踪哪些示例已批准,在训练前就解决分歧。

    Hub

    导出训练好的模型

    每个训练好的模型都会列在 Hub 中。可下载 GGUF 格式用于 llama.cpp、Ollama 或 LM Studio,或下载完整的 safetensors 用于 vLLM,再接入您自己的提取服务。模型归您所有,运行时不依赖任何 Ertas 服务。

    Hub

    敏感文本留在内部

    在您自己的服务器上运行导出的模型,含有患者姓名、账号或个人身份标识的文档都在您的网络内处理。训练在 Ertas 的云端 GPU 上进行,因此请在上传前把训练示例中的真实身份标识替换为逼真的替代值。

    Example Workflow

    一家制药公司需要从临床试验报告中提取药物名称、剂量信息、不良事件和患者人口统计信息,用于药物警戒监测。NLP 团队按照自己的实体模式(12 种实体类型)标注了 15,000 段报告摘录,把患者身份标识替换为合成的替代值,然后把 JSONL 数据集上传到 Ertas Studio。训练前,标注人员在 Data Craft 中解决有争议的示例。团队微调 Qwen 2.5 7B,让它读取报告文本,返回包含每个实体及其类型和文本位置的结构化 JSON,然后在一组预留的已标注报告上,按实体类型测量 F1,并与之前使用的通用 NER 系统对比。模型从 Hub 导出,每晚在公司自己的服务器上以批处理方式处理新收到的试验报告。提取出的实体载入药物警戒数据库,由安全分析师复核标记出的不良事件,他们的修正又用于下一次训练。

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.