金融機構自己擁有、在內部執行的客製 AI 模型
透過 Ertas,銀行與金融機構可以用自己的範例訓練客製模型,再於自有基礎設施上執行,或透過自適應模型端點使用。支撐業務流程的模型,就成了您擁有、可測試、可版本管理的資產。
The Challenges You Face
主管機關在意客戶資料的去向
銀行監理規範、隱私法規與委外作業準則,都對客戶資料在哪裡處理設有條件。把每筆交易描述都送 到第三方 AI API,每個新用途都得做供應商風險評估、簽資料處理協議,最有價值的專案反而推得最慢。
模型風險管理需要您能掌握的模型
SR 11-7 等框架要求機構對參與決策的模型進行記錄、驗證與監控。一個可能隨時改變、又無法下載的代管模型,很難驗證,更難持續維持驗證狀態。
通用模型不懂貴機構的分類
每家機構都有自己的交易分類、產品名稱、風險等級和行文風格。通用模型依照對金融的籠統認識來分類,輸出需要大量修改才能對上您的類別。
自建還是採購,兩難的取捨
自建內部機器學習平台需要多年投入。完全仰賴前沿 API,則代表要為一個較小的訓練模型就能完成的工作,無限期地按 token 付費。機構需要一條中間路線。
How Ertas Solves This
Ertas Studio 會用您自己業務中的範例來訓練客製模型:附上分析師所判定類別的交易描述、附上團隊所擷取欄位的申報文件、附上政策所允許回覆的客戶詢問。分析師可以在 Studio 的引導式資料集建構工具 Data Craft 中建立、修正並核准這些範例。Studio 在視覺化畫布上,以 Ertas 的雲端 GPU 對 Llama、Qwen、Mistral 或 Gemma 等開放模型進行 LoRA 微調,並可同時執行多個訓練任務來比較設定。
訓練資料需要上傳到 Ertas 進行訓練,因此請先依照貴機構自己的資料處理標準備妥資料,並刪除任務用不到的帳戶識別資訊。資料集會被保存以便重複訓練,您也可以將其刪除。
訓練完成的模型歸您所有。您可以下載 GGUF 或完整的 safetensors,以 llama.cpp、Ollama 或 vLLM 在自有基礎設施中執行,正式環境的資料留在您這裡。由於您握有模型檔案與訓練所用的資料集版本,模型風險團隊可以像對待清單上其他模型一樣,對它進行測試、記錄與重新驗證。符合主管機關的期待,仍是貴機構自己的工作。
對於已在使用前沿 API 的高流量任務,自適應模型端點提供一條漸進的路徑:單一 API;客製模型在通過您的評估後承接越來越多的請求;困難的請求仍交給前沿模型。它可以由 Ertas 代管,也可以部署在您自己的雲端或地端。規模較大的計畫可以從企業客製服務開始:免費的使用案例評估、為期三到四週的概念驗證、正式建置,以及之後的營運與再訓練。
Key Features for 金融服務與銀行
由分析師建立的訓練資料
在 Data Craft 中,分析師可以撰寫並修正範例對話、進行版本管理, 並追蹤哪些範例已核准用於訓練。模型因此能從實際運用這些類別的人身上,學會貴機構的分類方式。
版本化的資料集與可重複的訓練
Data Craft 會為範例做版本管理,Studio 則保存每次訓練的設定,因此訓練可以重複,每個模型也都能追溯到產生它的資料與設定。
由您掌握的模型
每個訓練好的模型都會列在 Hub 中,可下載為 GGUF(搭配 llama.cpp 或 Ollama)或完整的 safetensors(搭配 vLLM 等伺服器執行環境)。在您自己的防火牆後執行,執行時不依賴 Ertas。
自適應模型端點
針對一項高流量任務,自適應模型端點提供您單一的 API。以您自己的請求和團隊回饋訓練出的客製模型,在通過您的評估後承接越來越多的請求,困難的請求仍交給您原本使用的前沿模型。導入時,只需把現有的 API 呼叫指向一個新的模型名稱。
Why It Works
- 在 QMSum 會議摘要基準上,一個以 Ertas 訓練的 1.2B 模型取得 35.41 的 ROUGE-1 分數,五個託管前沿模型中最好的一個為 32.43。為單一任務訓練的小模型,在這項任務上可以勝過大得多的通用模型。
- 模型可匯出為 GGUF 或完整的 safetensors,在您自有的基礎設施中以 llama.cpp、Ollama、LM Studio 或 vLLM 執行。
- 自行代管的模型只會在您重新訓練時改變,驗證團隊可以依自己的時程進行測試。
Example Workflow
一家中型銀行希望為可疑交易報告的描述分級,讓風險最高的案件最先送到資深分析師手上。法遵科技團隊匯出 3,000 筆歷史描述,附上每筆已判定的風險等級與態樣,刪除任務用不到的帳號與姓名,整理成 JSONL 資料集。
經驗豐富的防制洗錢分析師在 Data Craft 中審閱這些範例、修正不一致的標籤,並核准最終資料集。團隊在 Ertas Studio 中以不同的基礎模型同時執行三個訓練任務,再用一組保留的近期描述進行比較。
選定的模型下載為 GGUF 檔,部署在銀行自己防火牆後方的 GPU 伺服器上。它會為新進的描述預先評分,所有最終決定都由分析師作成。模型風險團隊則把模型連同產生它的資料集版本和訓練設定一併記錄下來。
Related Resources
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.