金融机构自己拥有、在内部运行的定制 AI 模型
借助 Ertas,银行和金融机构可以用自己的示例训练定制模型,然后在自有基础设施上运行,或通过自适应模型端点使用。支撑业务流程的模型,成为您拥有、可测试、可版本管理的资产。
The Challenges You Face
监管机构关心客户数据的去向
银行监管要求、隐私法规和外包指引都对客户数据在哪里处理设定了条件。把每条交易描述都发给第三方 AI API,每个新用例都要做供应商风险评估、签数据处理协议,最有价值的项目反而推进得最慢。
模型风险管理需要您能掌握的模型
SR 11-7 等框架要求机构对参与决策的模型进行记录、验证和监控。一个可能随时变化、又无法下载的托管模型,很难验证,更难持续保持验证状态。
通用模型不懂本机构的分类
每家机构都有自己的交易分类体系、产品名称、风险等级和行文风格。通用模型按照对金融的笼统理解来分类,输出需要大量修改才能对上您的类别。
自建还是采购,两难取舍
自建内部机器学习平台需要多年投入。完全依赖前沿 API,则意味着要为一个更小的训练模型就能完成的工作无限期地按 token 付费。机构需要一条中间道路。
How Ertas Solves This
Ertas Studio 用您自己业务中的示例训练定制模型:附带分析师所定类别的交易描述、附带团队所抽取字段的监管文件、附带政策允许之答复的客户咨询。分析师可以在 Studio 的引导式数据集构建工具 Data Craft 中创建、修正和批准这些示例。Studio 在可视化画布上,用 Ertas 的云端 GPU 对 Llama、Qwen、Mistral 或 Gemma 等开放模型进行 LoRA 微调,并可同时运行多个训练任务来比较配置。
训练数据需要上传到 Ertas 进行训练,因此请先按照贵机构自己的数据处理标准做好准备,删除任务用不到的账户标识信息。数据集会被保存,以便重复训练,您也可以删除。
训练好的模型归您所有。您可以下载 GGUF 或完整的 safetensors,用 llama.cpp、Ollama 或 vLLM 在自有基础设施中运行,生产数据留在您这里。由于您掌握模型文件以及训练所用的数据集版本,模型风险团队可以像对待清单中的其他模型一样,对它进行测试、记录和重新验证。满足监管要求仍然是贵机构自己的工作。
对于已经在使用前沿 API 的高流量任务,自适应模型端点提供了一条渐进的路径:一个统一的 API;定制模型在通过您的评估后承担越来越多的请求;困难的请求仍交给前沿模型。它可以由 Ertas 托管,也可以部署在您自己的云上或本地。规模更大的项目可以从企业定制服务开始:免费的用例评估、为期三到四周的概念验证、正式构建,以及后续的运行和再训练。
Key Features for 金融服务与银行
由分析师构建的训练数据
在 Data Craft 中,分析师可以编写和修正示例对话,进行版本管理,并跟踪哪些示例已获准用于训练。模型从真正使 用这些类别的人那里学会本机构的分类。
版本化数据集与可重复的训练
Data Craft 对示例进行版本管理,Studio 保存每次训练的设置,因此训练可以重复,每个模型都能追溯到产生它的数据和配置。
由您掌握的模型
每个训练好的模型都会列在 Hub 中,可以下载为 GGUF(用于 llama.cpp 或 Ollama)或完整的 safetensors(用于 vLLM 等服务器运行时)。在您自己的防火墙后运行,运行时不依赖 Ertas。
自适应模型端点
针对一项高流量任务,自适应模型端点为您提供一个统一的 API。用您自己的请求和团队反馈训练出的定制模型,在通过您的评估后承担越来越多的请求,困难的请求仍交给您正在使用的前沿模型。接入时,只需把现有的 API 调用指向一个新的模型名称。
Why It Works
- 在 QMSum 会议摘要基准上,一个用 Ertas 训练的 1.2B 模型取得 35.41 的 ROUGE-1 分数,五个托管前沿模型中最好的一个为 32.43。为单一任务训练的小模型,在这项任务上可以胜过大得多的通用模型。
- 模型可导出为 GGUF 或完整的 safetensors,在您自有的基础设施中用 llama.cpp、Ollama、LM Studio 或 vLLM 运行。
- 自托管的模型只有在您重新训练时才会变化,验证团队可以按自己的节奏进行测试。
Example Workflow
一家中型银行希望对可疑活动报告的描述进行分级,让风险最高的案例最先交到资深分析师手里。合规技术团队导出 3,000 条历史描述,附上每条已认定的风险等级和类型,删除任务用不到的账号和姓名,整理成 JSONL 数据集。
经验丰富的反洗钱分析师在 Data Craft 中审核这些示例,修正不一致的标签,并批准最终数据集。团队在 Ertas Studio 中基于不同的基础模型并行运行三个训练任务,再用一组保留的近期描述进行比较。
选定的模型被下载为 GGUF 文件,部署在银行自己防火墙后的 GPU 服务器上。它为新进的描述预先打分,所有最终决定都由分析师作出。模型风险团队则把模型连同产生它的数据集版本和训练设置一起记录在案。
Related Resources
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.