大多數 AI 供應商評估關注基準分數和演示性能。這對於企業採購決策來說是錯誤的框架。二月份在 MMLU 上得分最高的模型可能與十一月份您正在運行的模型不同——而您的供應商可能沒有告訴您更改正在發生。
能力很重要。但治理是決定供應商關係是否可持續、可稽核以及對監管機構可辯護的因素。本記分卡對兩者都進行了評估。
為什麼能力基準還不夠
AI 模型性能不是靜態的。供應商持續更新模型——為了降低成本、提高其目標使用案例的性能、響應安全問題或遵守監管。除非您已協商了具有合同穩定性承諾的版本固定端點,否則您評估的模型不一定是您在生產中運行的模型。
對於任務關鍵型工作流——貸款決策、醫療分類支持、法律文件審查、欺詐偵測——這很重要。靜默的模型更新可以改變您系統的行為、使您的驗證失效,並在您的監控堆疊中沒有觸發任何警報的情況下創造合規差距。
超過版本穩定性,企業 AI 採購需要評估:
- 您的資料是否被用來訓練他們的下一個模型
- 如果您需要離開,是否可以匯出您的工作
- 供應商是否可以產生您的監管機構將接受的文件
- 供應商是否在三年後仍將存在並服務您的使用案例
本記分卡解決了所有這些問題。
如何使用本記分卡
使用提供的指導將每個標準從 1 評分到 5。將維度分數計算為其標準分數的平均值。將每個維度分數乘以其權重。對加權分數求和,得到滿分 5.0 的總分。
每個供應商評分一張記分卡。評估多個供應商時,使用相同的評分會議——讓同一個人在進入下一個標準之前,對所有供應商評分相同的標準,以減少錨定偏見。
維度 1:版本控制和變更管理 — 權重:20%
| 標準 | 1 | 3 | 5 |
|---|---|---|---|
| 版本固定端點可用? | 無固定;僅「最新」 | 固定可用但保留有限 | 是,具有多年穩定性承諾 |
| 模型更改前的提前通知? | 無通知 | 一些通知,無定義窗口 | 30 天以上通知加測試窗口 |
| 明確的行為更改文件? | 無 | 發布說明,細節最少 | 帶前後範例的完整變更日誌 |
| 如果更新破壞您的使用案例,可以回滾? | 無 | 可能手動回滾;無 SLA | 具有定義 SLA 的合同回滾權 |
評分指導:不提供版本固定的供應商在第一個標準上得 1 分,不論任何其他品質。任何基準改善都無法補償無法知道您的生產系統中運行什麼模型。
維度 2:稽核和記錄 — 權重:20%
| 標準 | 1 | 3 | 5 |
|---|---|---|---|
| 詳細的輸入/輸出記錄可用? | 無記錄 | 基本記錄,細節有限 | 不可變的、帶時間戳的完整 I/O 日誌 |
| 日誌可用於合規報告匯出? | 無匯出 | 可能手動匯出 | 通過 API 的結構化匯出 |
| 保留期滿足監管要求? | 不到 1 年 | 1-5 年 | 超過 10 年(或可配置) |
| 稽核級日誌格式(防篡改)? | 否 | 一些完整性控制 | 雜湊鏈或等效;防篡改 |
評分指導:SR 11-7 和歐盟 AI 法案都要求對後果性決策的模型輸入和輸出進行日誌記錄。如果供應商無法提供具有足夠保留期的防篡改日誌,您將不得不自己構建該基礎設施——而且無法保證供應商正在記錄您需要的內容。
維度 3:戰略一致性 — 權重:15%
| 標準 | 1 | 3 | 5 |
|---|---|---|---|
| 使命和客戶細分一致性? | 供應商服務相反的使用案例 | 混合一致性 | 與您的使用案例和行業明確一致 |
| 主要客戶類型已披露? | 不透明 | 部分披露 | 帶案例研究完全披露 |
| 關於他們不服務的使用的公開承諾? | 無 | 非正式聲明 | 明確政策,發布且可在合同中約束 |
| 財務穩定性/治理結構? | 高風險(未盈利,不明背景) | 一些穩定性信號 | 稽核財務、穩定治理、長跑道 |
評分指導:為消費者構建的供應商不一定為企業合規要求構建。戰略不一致意味著治理功能將始終被去優先化。檢查供應商的公開客戶名單、職位發布和產品路線圖——這些揭示的實際優先事項比銷售幻燈片更多。
維度 4:資料治理 — 權重:20%
| 標準 | 1 | 3 | 5 |
|---|---|---|---|

