为您的企业打造私有 LLM。
企业私有 LLM 是在贵机构决定的地方运行、受您自己的访问控制约束、并用您自己的工作训练的语言模型。Ertas 用您的数据针对一项明确的任务训练这样的模型，并由 Ertas 托管运行，或部署在您自己的云或本地。您的数据保持私密。
什么是私有 LLM？
私有 LLM 是为单一机构部署的语言模型，它的请求、日志和训练数据都在该机构的控制之下。
这个说法涵盖两项不同的选择：模型在哪里运行，以及它用什么训练。您自己托管的开放模型是私有的，但依然是通用模型。用您工作样例训练的模型，还会学会您的格式、术语和决策方式。
私有 LLM 与公共 AI API 有什么区别？
公共 AI API 在服务商的服务器上、按服务商的条款处理每个请求。这些条款已有改进：截至 2026 年 10 月，OpenAI 的企业隐私页面表示，默认情况下不会使用企业数据训练其模型，并可能将 API 的输入和输出保留最多 30 天，用于提供服务和识别滥用。
私有 LLM 让部署位置、数据保留和访问权限都遵循您自己的政策，并且用您自己的工作进行训练。
- 位置
- 由您选择模型在哪里运行、日志保存在哪里。
- 保留
- 由您的政策决定请求和输出保存多久。
- 训练
- 用您的团队审批过的样例，针对您选定的任务训练。
- 成本
- 可按 token、按席位或使用专用 GPU 计费。在大用量下，每项任务的 token 更少，每个 token 的成本也低于大型前沿模型。
私有 LLM 可以在哪里运行？
有三种选择，取决于您的数据可以去往哪里。无论哪一种，模型都通过同一个 API 提供服务。
当数据必须留在某个国家时，可在您自己位于该国区域的云账户中运行模型，或在您自己的服务器上运行。澳大利亚的定制 AI 模型给出了一个示例。
- Ertas 托管
- 我们负责托管、监控和更新模型。您的数据保持私密。
- 您的云
- 您自己的 AWS、Azure 或 Google Cloud 账户，沿用您现有的管控措施。
- 本地部署
- 您自己的服务器，位于您的网络之内。
应该向私有 LLM 服务商提出哪些问题？
下面五个问题涵盖了安全审查会问到的大部分内容。我们拟议的信任框架用任务专用评估、安全底线和模型记录来回答其中关于衡量和变更的问题。
- 在哪里运行
- 询问每个环境所在的区域和服务商，包括日志和备份。
- 谁能看到
- 询问哪些员工和次级处理方可以访问提示、输出和日志。
- 如何衡量
- 要求提供用您的样例构建的测试集，以及每个版本的评分。
- 归谁所有
- 询问您可以带走什么，以及条件是什么。
- 如何变更
- 询问新版本如何获得批准，以及新版本未达标时由什么继续提供服务。
常见问题。
私有 LLM 比公共 API 更贵吗？
取决于用量。对于大量重复的任务，成本从两方面下降：每个 token 的价格低于大型前沿模型；每项任务所用的 token 也更少，因为每个提示中重复的指令和上下文已经训练进模型。对于偶尔使用的开放式工作，公共 API 通常更便宜。运行费用可按 token 计费，适合波动或增长中的流量；可按席位计费，即每月一笔费用、token 不限量、设有最大并发上限，适合稳定的流量；最大规模的流量可使用专用 GPU。
私有 LLM 能使用我们的文档吗？
能。训练教会模型您的任务和格式，检索则为它提供经常变化的文档。许多项目两者并用。
我们拥有 Ertas 训练的私有 LLM 吗？
它用您的工作训练、由您的团队塑造，默认在 Ertas 上运行。在满足最低合作承诺的前提下，可获得模型的所有权并完成交付。
搭建私有 LLM 需要多长时间？
先进行免费审计和数据准备，然后是为期三到四周的概念验证。您的团队批准结果后，即进入生产模型阶段。