
為什麼銀行不會將交易數據發送到 ChatGPT(以及他們將做什麼代替)
金融機構面臨 SOC 2、PCI-DSS 和 FINRA 限制,使雲端 AI API 成為合規風險。在本地運行的微調模型是替代方案——以下是原因和方式。
上個月我們寫了為什麼律師事務所不會將客戶數據發送到 ChatGPT。反響是壓倒性的——它顯然觸動了神經。
同樣的論點適用於金融服務,但賭注更高,監管牆更厚。
每個主要銀行、資產管理公司、保險公司和金融科技公司都面臨部署 AI 的壓力。消費者期望由消費者 AI 產品設定。董事會想要效率提升。競爭對手在行動。
但合規現實使大多數舉措停滯不前。
合規牆
以下是銀行試圖將 ChatGPT(或任何雲端 AI API)用於面向客戶工作時發生的情況:
SOC 2 稽核追蹤
每個處理客戶數據的系統都需要有文件的稽核追蹤。當您將客戶的交易歷史發送到 OpenAI 的 API 時:
- 數據去哪裡了?(OpenAI 的服務器,位置不定)
- 誰處理了它?(OpenAI 的基礎設施)
- 保留了多久?(取決於 OpenAI 的數據政策)
- 您能展示對刪除的控制嗎?(不能——這是他們的基礎設施)
您的稽核員會問這些問題。如果您沒有令人滿意的答案,您的 SOC 2 認證就面臨風險。
PCI-DSS 範圍擴展
如果您發送到雲端 API 的任何提示包含或引用了支付卡數據——即使是部分帳號、即使是交易摘要——該 API 端點就進入了您的 PCI 範圍。突然間:
- AI 供應商需要符合 PCI 標準
- 您需要在 PCI 合規工件中記錄數據流
- 您的 QSA(合格安全評估員)需要評估額外範圍
- 您為更昂貴的 PCI 評估付費
對於處理數百萬筆交易的銀行,僅 PCI 範圍擴展就可能比 AI 實施節省的費用更多。
FINRA 記錄保存
FINRA 要求經紀商保留客戶通信記錄。如果 AI 模型生成了影響客戶交互的響應——產品推薦、風險評估、合規摘要——該輸出可能需要被保留且可稽核。
雲端 API 響應流經第三方基礎設施。可靠地記錄它們、按監管計劃保留它們,並在監管審查期間出示它們,增加了大多數合規團隊會拒絕的複雜性。
風險委員會的決定
實際上,它是這樣進行的:
- 產品團隊提出使用 AI 進行[特定用例]
- 提案提交給風險/合規委員會
- 委員會問:「數據去哪裡了?」
- 答案:「OpenAI 的服務器」
- 委員會:「不行。」
這個對話每週在金融服務行業發生數百次。技術有效。合規不行。
他們正在構建什麼代替
金融機構並不是在拒絕 AI。他們在拒絕雲端 AI API。這個區別很重要。
替代方案:在機構自己的基礎設施上運行的微調模型。
架構
- 訓練數據(歷史交易、標注文件、客戶交互)→ 留在機構的數據範圍內
- 微調發生在受控計算上(通過像 Ertas 這樣的平台的雲端 GPU,或對最敏感機構的本地部署)
- 訓練好的模型(GGUF 文件或 LoRA 適配器)被匯出和下載
- 推理在機構自己的硬體上運行——數據中心的 GPU 服務器、服務器機房的 Mac,或其私有 VPC 中的雲端實例
- 客戶數據在推理期間從不離開機構的基礎設施
此架構滿足每一個合規要求:
- SOC 2: 數據留在您認證的範圍內
- PCI-DSS: 沒有範圍擴展——處理在您的基礎設施上進行
- FINRA: 對日誌記錄、保留和可稽核性的完全控制
- GDPR: 數據居留要求得到滿足(您的數據中心,您的司法管轄區)
經濟上也可行
僅合規論點就足以讓大多數金融機構接受。但經濟上也強化了這一點。
每天處理 500 份文件的中型銀行:
| 方法 | 每月費用 | 合規開銷 |
|---|---|---|
| GPT-4o API | 1,500-5,000 美元 | 高(供應商評估、BAA、PCI 範圍) |
| 微調 8B 本地部署 | 15-30 美元電費 | 最低(繼承現有合規) |
微調模型不僅僅是更便宜——它在特定領域金融任務上通常產生更好的結果。在機構特定交易類別、文件格式和監管要求上訓練的模型優於處理從詩歌到物理學的通用模型。
機構的機會
如果您在經營 AI 機構,金融服務是服務最不足的市場之一。
需求是巨大的。銀行、信用合作社、資產管理公司、保險公司和金融科技公司都想要 AI。其中大多數被卡住了——無法使用雲端 API,無法聘用 ML 團隊(每位 ML 工程師 30 萬美元以上),無法為構建內部微調基礎設施辯護。
能夠做到以下事情的機構:
- 了解合規要求(SOC 2、PCI-DSS、FINRA 基礎知識)
- 使用視覺平台在金融領域數據上微調模型
- 在客戶的基礎設施上本地部署
- 為不同用例提供每個客戶的 LoRA 適配器
……正在解決一個客戶自己真的無法解決的問題。
支付意願高於大多數垂直行業。金融機構為合規和技術投入數百萬美元預算。通過合規審查的 AI 部署對他們的價值遠遠高於在監管較少的行業的相同部署。
有關金融服務機構機會的詳細分解,請參見我們的市場指南。
與醫療保健和法律的相似之處
我們在另外兩個受監管行業中看到了這種模式的演變:
醫療保健: HIPAA 阻止將患者數據發送到雲端 API。在本地運行的微調模型是解決方案。醫院正在為臨床文件、編碼輔助和患者溝通部署它們。
法律: 律師-客戶特權阻止將案例數據發送到第三方處理器。律師事務所正在部署微調模型用於合同審查、文件分析和研究輔助。
金融服務是這個受監管行業三角的第三條腿。相同的合規驅動需求。相同的本地部署解決方案。對機構和顧問來說相同的商業機會。
共同點:每個不能使用雲端 API 的受監管行業都是微調、本地部署 AI 模型的市場。學會構建和部署這些模型——並應對合規要求——的團隊將擁有這些市場。
入門
如果您是金融機構:
- 識別您最高量、最重複的 AI 用例
- 從歷史數據構建訓練數據集(200-500 個標注示例)
- 在 Ertas 上微調——不需要 ML 專業知識
- 在您的基礎設施上部署
- 在第一個驗證後擴展到其他用例
如果您是針對金融服務的 AI 機構:
- 了解合規要求(SOC 2、PCI-DSS、FINRA 基礎知識)
- 構建您可以演示的參考部署
- 以合規為先,以能力跟進
- 為價值定價(符合合規的 AI 部署值得溢價定價)
金融服務 AI 市場正在等待在監管限制內有效的解決方案。在本地部署的微調模型就是這個解決方案。
參考資料:FINOS AI 治理框架、IBM——金融監管框架中的生成式 AI、AdvisorEngine——2026 年 AI 合規框架。
Ship AI that runs on your users' devices.
Early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.
Keep reading

Fine-Tuning AI for Financial Services: Compliance, Use Cases, and Deployment
A comprehensive guide to deploying fine-tuned AI models in financial services. Covers SOC 2, PCI-DSS, and FINRA compliance, five production use cases, and why on-premise fine-tuned models are replacing cloud APIs in banking and finance.

Model Risk Management for Fine-Tuned LLMs: SR 11-7 Compliance Guide
A practical guide to applying the Federal Reserve's SR 11-7 model risk management framework to fine-tuned LLMs in banking. Covers documentation requirements, validation frameworks, auditor questions, and why on-premise deployment simplifies compliance.

On-Premise AI for Banking: Satisfying Regulator Audit Requirements
Architecture and operational guide for deploying on-premise AI in banking environments that satisfy OCC, FINRA, and Federal Reserve audit requirements. Covers infrastructure, audit trails, access controls, change management, disaster recovery, and a 10-dimension compliance comparison.