financebankingon-premisecomplianceauditdeploymentinfrastructure
银行业本地 AI:满足监管审计要求
在银行环境中部署满足 OCC、FINRA 和美联储审计要求的本地 AI 的架构和运营指南。涵盖基础设施、审计追踪、访问控制、变更管理、灾难恢复和 10 维合规对比。
Edward Xi Yang
你的银行 CTO 想要 AI。合规部门想要审计追踪。CISO 想要数据在本地。运营主管想在 Q3 之前部署。
这些不是冲突的要求。它们是设计约束——都指向同一架构:在本地运行的微调模型,从第一天起就将综合审计日志、访问控制和变更管理融入基础设施。
本指南涵盖完整的架构,从 GPU 集群到审计日志保留,让你能部署 AI 并通过审查员审核。
架构概览
部署遵循四阶段管道。每个阶段都有一个生成可审计产物的门控。
[阶段 1:训练] 离线 GPU 环境
|
验证门控 ---------> 基准测试结果、偏差审计、模型卡片
|
[阶段 2:验证] MRM 团队独立审查
|
批准门控 ------------> 签署文件、风险层级分类
|
[阶段 3:生产推理] 本地推理集群
|
持续监控 -----> 漂移告警、准确率跟踪、审计日志
|
[阶段 4:审计日志] 不可变日志存储,7 年保留
基础设施要求
| 层级 | 用途 | 硬件 | 网络 |
|---|---|---|---|
| 训练 | 微调和适配器创建 | 1-2x NVIDIA A100 40GB | 离线或隔离 VLAN |
| 推理 | 生产模型服务 | 2x NVIDIA T4 16GB(HA 对) | 隔离 VLAN |
| 存储和日志 | 模型注册表、审计日志 | 2TB NVMe + 网络存储 | 同推理 VLAN |
审计追踪架构
每次推理必须产生完整、不可变的审计记录。
每次推理日志记录
| 字段 | 类型 | 审查员需要的原因 |
|---|---|---|
timestamp | ISO 8601 | 与业务事件的时间关联 |
request_id | UUID v4 | 调查的唯一引用 |
model_version | String | 可重现性 |
input_hash | SHA-256 | 完整性证明 |
output_hash | SHA-256 | 完整性证明 |
department | String | 使用归属 |
confidence | Float | 决策质量证据 |
保留要求
OCC 审查指南要求与模型相关决策保留 5-7 年记录。
访问控制
RBAC 模型包括模型开发者、模型验证者、部署批准者、API 消费者、审计员和基础设施管理员角色。
变更管理工作流
六步流程:提议 → 开发 → 验证 → 审查 → 批准 → 部署。
合规对比:本地 vs 云
| 维度 | 本地 | 云 API | 审查员偏好 |
|---|---|---|---|
| 数据驻留 | 所有数据留在银行网络 | 数据传输到提供商基础设施 | 本地 |
| 审计日志 | 完整,银行控制 | 依赖提供商日志能力 | 本地 |
| 可重现性 | 完全——固定模型版本,重放输入 | 有限——提供商可能更新模型 | 本地 |
| 变更管理 | 银行控制所有变更 | 提供商控制模型更新 | 本地 |
| 供应商风险 | 无第三方模型提供商 | 需要供应商风险评估 | 本地 |
3 年总拥有成本对比
| 组件 | 本地 | 云 API(企业 BAA 层级) |
|---|---|---|
| 基础设施(第 0 年) | $40,000 | $0 |
| 年运营 | $25,000/年 | $8,000/年 |
| 年 API 成本 | $0 | $120,000-240,000/年 |
| 3 年总计 | $130,000 | $504,000-804,000 |
延伸阅读
Ship AI that runs on your users' devices.
Free plan with 30 credits/mo, no card required. Paid plans from $10/mo USD.
Keep reading
微调LLM的模型风险管理:SR 11-7合规指南
将联邦储备委员会SR 11-7模型风险管理框架应用于银行业微调LLM的实用指南。涵盖文档要求、验证框架、审计员问题,以及为什么本地部署简化合规。
Edward Xi Yang
本地医疗 AI:架构和基础设施指南
在医疗环境中本地部署 AI 的实用基础设施指南。涵盖硬件要求、网络架构、离线部署、HIPAA 审计日志、模型更新策略和与云 API 的真实成本对比。
Edward Xi Yang
SOC 2 与 AI:为什么金融公司需要本地模型部署
每添加一个 AI API 都会扩大你的 SOC 2 审计范围。本地模型部署让 AI 能力保持在现有安全边界内——无新供应商,无新风险评估,无范围蔓延。
Edward Xi Yang