面向临床文本的定制 AI 模型,在您自己的服务器上运行
借助 Ertas Studio,医疗团队可以用自己的临床示例训练定制模型,并导出到医院自有服务器上运行。模型在生产环境中读取的患者数据始终留在您的网络之内。
The Challenges You Face
患者数据让云端 AI 的门槛更高
HIPAA、各州隐私法和伦理审查委员会对受保护健康信息的去向有严格要求。把每份临床记录都发给第三方 AI API,意味着每个新用例都要签 供应商协议、做风险评估,并承担持续的数据暴露,许多项目还没开始就停了下来。
临床语言让通用模型频频出错
临床记录里充满缩写、简写和本院惯例,通用模型常常理解错。一个从没见过您的医生如何书写的模型,给出的抽取结果和摘要需要有人逐行核对。
按 token 计费的 API 成本随患者量上涨
一家医院每天产生成千上万份记录、报告和信函。每一份都按 token 付费调用前沿模型,原本有前景的试点就会变成一笔随患者量不断增长的预算。
领域知识掌握在临床人员手里
真正理解临床流程、医学术语和患者背景的是临床人员,而他们大多不写代码。让临床人员直接审核和修正训练示例,医疗 AI 才能进步得最快。
How Ertas Solves This
Ertas Studio 用您想完成的任务示例来训练定制模型,例如抽取用药清单、为就诊编码、起草出院小结。临床人员在 Studio 的引导式数据集构建工具 Data Craft 中审核、修正并批准这些示例,无需写代码。您可以选择 Llama、Qwen、Gemma 或 Phi 等开放模型,在可视化画布上完成训练,并同时运行多个训练任务进行比较。
训练在 Ertas 的云端 GPU 上进行,因此训练集需要上传到 Ertas。请使用贵机构已经去标识化或已做最小化处理的记录来构建训练集。数据集会被保存,以便重复训练,您也可以随时删除。
训练完成后,模型归您所有。您可以导出为 GGUF 格式,在 llama.cpp、Ollama 或 LM Studio 中使用,也可以导出完整的 safetensors 用于 vLLM,然后在医院自己的服务器上运行,运行时不依赖 Ertas。模型在生产环境中读取的每一份记录都留在您的网络之内。满足 HIPAA 和本院制度的要求仍然是贵机构自己的工作;在内部运行推理,可以让生产环境中的患者数据不进入其他供应商的系统。
对于规模更大的项目,Ertas 也提供企业定制模型服务:免费的用例评估、为期三到四周的概念验证、正式构建,以及后续的运行和再训练。训练好的模型归贵机构所有。
Key Features for 医疗机构
由临床人员审核的训练示例
在 Data Craft 中,临床人员可以以 USER 和 ASSISTANT 轮次添加和编辑示例对话,进行版本管理,并逐条标记为已批准。训练集体现的是临床判断,参与者无需学习任何开发工具。
在可视化画布上训练开放模型
选择一个开放基础模型,接入数据集,即可在可视化画布上启动基于 LoRA 的微调,训练在 Ertas 的云端 GPU 上完成。可以并行运行多种配置,比较结果后再做选择。
导出并在内部运行
训练好的模型会列在 Hub 中。每个模型都可以下载为 GGUF(用于 llama.cpp、Ollama 或 LM Studio)或完整的 safetensors(用于 vLLM),部署在医院自有硬件上,推理全程留在您的网络内。
自适应模型端点
针对某一项高流量任务,自适应模型端点为您提供一个统一的 API。一个用您自己的请求和团队反馈训练出的定制模型,在通过您的评估后会承担越来越多的请求,困难的请求仍交给您正在使用的前沿模型。它可以由 Ertas 托管,也可以部署在您自己的云上或本地。
Why It Works
- 在 QMSum 会议摘要基准上,一个用 Ertas 训练的 1.2B 模型取得 35.41 的 ROUGE-1 分数,五个托管前沿模型中最好的一个为 32.43。为单一任务训练的小模型,在这项任务上可以胜过大得多的通用模型。
- 导出的模型可以在您掌控的硬件上用 llama.cpp、Ollama、LM Studio 或 vLLM 运行,生产环境的推理无需连接 Ertas。
- 临床人员可以直接在 Data Craft 中参与。它是一个对话式编辑器,用于创建、版本管理和批准训练示例,无需写代码。
Example Workflow
某医院的信息科希望构建一个模型,从非结构化的临床记录中抽取药品名称、剂量和用药频次。一名数据工程师选取了 2,000 份已经按医院自身流程完成去标识化的记录,以示例对话的形式导入 Data Craft:记录作为 USER 轮次,结构化的用药清单作为 ASSISTANT 轮次。
几位临床人员在 Data Craft 中审核这些示例,修正抽取结果并逐条批准。随后,团队在 Ertas Studio 中并行运行两个训练任务,一个基于 Qwen 2.5 7B,一个基于 Llama 3.1 8B,并用临床人员另行标注的一组保留记录对两者进行比较。
效果更好的模型被导出为 GGUF 文件,用 llama.cpp 部署在医院自己的 GPU 服务器上。新的记录在医院网络内完成处理。临床人员每周抽查一部分输出,把修正后的案例加入 Data Craft,用于下一轮训练。
Related Resources
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.