vendor-lock-inenterprise-aiai-governancehigh-stakes-aiprocurement
高风险环境中的 AI 供应商锁定:大多数采购团队忽略的风险
传统供应商锁定关乎切换成本。高风险环境中的 AI 供应商锁定关乎更糟糕的事:你无法审计或逆转的行为依赖。
Edward Xi Yang
AI 供应商锁定有一个现有框架无法捕获的额外维度——在高风险环境中,它是最危险的。
行为依赖。
行为依赖:你看不见的锁定
行为依赖是当你的组织随时间校准到特定模型的输出模式时发生的事情。你的团队发展出对 AI 行为方式的心理模型。你的质量保证流程调整为捕获这个模型展现的特定错误模式。
当模型改变时——通过版本更新、安全重新校准、训练优化——校准就失效了。
在低风险环境中,这很烦人。在高风险环境中,可能很危险。
高风险行为依赖:三个案例
临床环境
临床医生基于旧模型行为发展的适当校准的怀疑态度现在不再准确。