AI 供应商评估记分卡：从 6 个治理维度评估每个供应商

大多数 AI 供应商评估关注基准分数和演示性能。这对企业采购决策来说是错误的框架。二月里 MMLU 得分最高的那个模型，到十一月可能已经不是你正在运行的模型，而供应商未必告诉过你这次变更正在发生。

能力当然重要。但供应商关系能否持续、能否审计、能否向监管机构交代，取决于治理。这份记分卡把两方面都评估进来。

为什么只看能力基准不够

AI 模型的表现不是固定的。供应商会持续更新模型：为了降低成本、为了在自己的目标用例上提升表现、为了回应安全方面的顾虑，或者为了满足监管要求。除非你谈下了带合同稳定性承诺的版本锁定端点，否则你当初评估的那个模型，未必就是你在生产环境里运行的模型。

对关键业务流程来说，比如贷款审批、医疗分诊支持、法律文件审阅、欺诈检测，这件事很要紧。一次悄无声息的模型更新可以改变系统行为、让你此前的验证作废、造成合规缺口，而你的监控栈不会因此发出任何告警。

除了版本稳定性，企业采购 AI 时还需要评估：

你的数据会不会被用来训练他们的下一代模型
需要离开时，你能不能把自己的成果导出来
供应商能不能拿出你的监管机构会接受的文档
三年之后，这家供应商还在不在，还服不服务你的用例

这份记分卡把上述问题全部覆盖。

如何使用这份记分卡

按下文给出的指引，为每个评估项打 1 到 5 分。把某个维度下各评估项得分的平均值作为该维度的得分，再乘以它的权重。把所有加权得分相加，得到 5.0 分制的总分。

每家供应商单独填一张记分卡。同时评估多家供应商时，请使用完全相同的打分流程：由同一个人把所有供应商的同一个评估项打完，再进入下一项，以减少锚定偏差。

维度 1：版本控制与变更管理（权重：20%）

评估项	1 分	3 分	5 分
是否提供版本锁定端点？	无锁定，只有“latest”	提供锁定，但保留期有限	提供，并附多年稳定性承诺
模型变更前是否提前通知？	不通知	有一定通知，但无明确窗口	提前 30 天以上通知，并留出测试窗口
是否明确记录行为变化？	没有	有发布说明，细节很少	完整变更日志，附变更前后示例
更新破坏你的用例时能否回滚？	不能	可手动回滚，无 SLA	合同约定回滚权，并有明确 SLA

打分指引：不提供版本锁定的供应商，第一项就是 1 分，其他方面再出色也一样。无论基准分数提升多少，都弥补不了你根本无从知道生产系统里跑的是哪个模型。

维度 2：审计与日志（权重：20%）

评估项	1 分	3 分	5 分
是否提供详细的输入/输出日志？	无日志	基础日志，细节有限	不可变、带时间戳的完整输入输出日志
日志能否导出用于合规报告？	不能导出	可手动导出	通过 API 结构化导出
保留期限是否满足监管要求？	不足 1 年	1 到 5 年	超过 10 年（或可配置）
是否为审计级日志格式（可发现篡改）？	否	有一些完整性控制	哈希链或同等机制，可发现篡改

打分指引：SR 11-7 和 EU AI Act 都要求对有实质影响的决策保留模型输入与输出的日志。供应商如果拿不出保留期足够的防篡改日志，这套基础设施就得你自己搭，而且没有任何保证说供应商记录下来的正是你需要的内容。

维度 3：战略对齐（权重：15%）

评估项	1 分	3 分	5 分
使命与客户群是否与你对齐？	供应商服务的用例与你相反	部分对齐	与你的用例和所在行业明确对齐
是否披露主要客户类型？	不透明	部分披露	完全披露，并有案例研究
是否公开承诺不服务某些用途？	没有	非正式表态	有明确政策，已公开且可写入合同
财务稳定性 / 治理结构如何？	高风险（尚无收入，投资方不明）	有一些稳定性信号	经审计的财务报表、稳定的治理结构、充裕的现金跑道

打分指引：为消费者打造产品的供应商，未必在为企业合规要求做建设。战略上不对齐，意味着治理功能会长期被排在优先级后面。去看供应商公开的客户名单、招聘岗位和产品路线图，这些比销售材料更能说明他们真正的优先级。

维度 4：数据治理（权重：20%）

评估项	1 分	3 分	5 分
你的数据是否被用于模型训练？	默认使用，无法退出	提供退出选项	从不使用，写入合同并附审计权
是否提供数据驻留选项？	无区域控制	有部分选项	完全区域控制，有文档且写入合同
账户终止后是否删除数据？	不明确	有书面流程，无 SLA	有书面流程、明确 SLA 和删除确认
是否披露子处理方清单？	否	部分披露	完整清单，并约定变更通知义务

打分指引：数据治理这一维度的法律分量最重。供应商如果在不给退出选项的情况下把你的输入当作训练数据，它就与大多数企业数据处理政策以及许多监管框架（GDPR、HIPAA、律师与当事人保密特权场景）不兼容。这一点要落到书面合同上，供应商的隐私政策算不上合同承诺。

维度 5：监管合规支持（权重：15%）

评估项	1 分	3 分	5 分
是否提供 BAA（HIPAA）？	否	可提供，但文本非标准	有预先批准的模板，流程直接
是否有 EU AI Act 合规文档？	没有	部分文档	有，且为 Annex IV 格式
是否支持 SR 11-7 / 模型风险文档？	没有	有一些文档	有专门材料，并能响应验证人员的提问
是否有独立安全审计（SOC 2、ISO 27001）？	没有	已过期或不完整	认证在有效期内，可供查阅

打分指引：拿不出合规文档的供应商，会让你耗费大量内部资源去绕开这个缺口。给出 5 分之前先确认文档是当期的，18 个月前出具的 SOC 2 报告未必能让你的审计师接受。

维度 6：退出策略（权重：10%）

评估项	1 分	3 分	5 分
微调成果能否导出？	不能导出	部分导出	以开放格式完整导出（GGUF、SafeTensors 等）
是否有迁移支持文档？	没有	基础指引	完整迁移文档，并附 SLA
合同中是否有针对重大行为变化的退出条款？	没有	非正式承诺	有明确的合同触发条件和退出权
API 格式是否可移植？	仅私有格式	部分兼容	兼容 OpenAI 或同等开放标准

打分指引：退出类指标在供应商评估中经常被低估，因为换供应商这件事感觉还很遥远。请老老实实测算切换成本：如果这家供应商改条款、被收购，或者质量明显下滑，迁移实际要花多少钱？这个数字应当直接决定你给退出类指标多大权重。

评分解读

为每家供应商计算加权总分：

总分 = (D1 x 0.20) + (D2 x 0.20) + (D3 x 0.15) + (D4 x 0.20) + (D5 x 0.15) + (D6 x 0.10)

分数范围	解读
4.0-5.0	继续推进。治理态势强。
3.0-3.9	带缓解计划继续推进。为存在的缺口记录补偿性控制措施。
2.0-2.9	显著风险。没有实质性的补偿性控制措施，不要部署于受监管或高风险用例。
低于 2.0	不要依赖此供应商处理关键任务工作负载。

维度 2 或维度 4 中任何单项拿到 1 分，无论总分多少都应视为潜在的拦路项，这两块的缺口最难靠内部手段补上。

应用记分卡：一个实例

以一个贷款资格支持工具为例，考虑三种选择：

供应商 A（主流商用 LLM API）：能力和合规文档都很强（有 SOC 2，可提供 HIPAA BAA）。版本锁定薄弱（别名弃用只提前 30 天通知，回滚没有 SLA）。数据治理只做到可退出。总分大约 3.2，属于带缓解计划继续推进：自建输入/输出日志，谈下版本锁定，把数据处理附录落到书面。

供应商 B（一家规模较小的 AI 初创公司）：基准分数出色，演示很有说服力。没有 BAA，没有 Annex IV 文档，没有审计日志，没有数据驻留选项。总分大约 1.8，能力再强也不适合受监管的用例。

自有模型（微调并自托管）：在维度 1、2 和 4 上按定义就是 5.0 分。版本由你控制，日志归你所有，你的数据从不离开你的基础设施。监管合规支持（维度 5）取决于你自己的内部流程，而不取决于某家供应商。退出风险（维度 6）为零，模型权重握在你手上。

自有模型基线

这套打分过程会把能力对比中容易忽略的一件事摆到明面上：自有模型从结构上就消除了最关键的那几项治理风险。

版本稳定性：你不更新，模型就不会变。审计日志：日志技术栈由你掌控。数据治理：你的训练数据始终留在自己的环境里。退出策略：模型权重以开放格式握在你手里。

这并不代表自有模型永远是正确答案，它需要在微调基础设施和相关专业能力上投入。但在受监管的用例中，如果供应商的治理得分总是落在 2.5-3.5 区间，补偿性控制措施的总成本往往会超过自己拥有模型的成本。

查看定价 →

预约 Ertas 发现通话 →

执行这套流程

盘点组织正在使用或正在评估的所有 AI 供应商（包括 SaaS 产品里内嵌的 AI）
用这份记分卡为每家供应商打分，同一个维度在所有供应商之间由同一位评估人打完
记录你的打分理由，而不只是记录数字，审计师会想看这些
对总分在 2.0-3.9 之间的供应商，在部署前把补偿性控制措施写下来
每年重新评估一次，遇到重大变化（被收购、政策调整、重大模型更新）时立即重新评估

这份记分卡是决策支持工具，不是否决机制。3.2 分配上扎实的缓解计划，是一个站得住脚的采购决定；1.8 分且没有缓解计划，经不起事后的追问。而一旦出事，审计师或监管机构第一个要找的，就是这份分析。