谁控制你的AI模型在生产环境中的行为?(可能不是你)
生产环境中的模型行为由训练数据、RLHF选择和安全过滤器决定——这些决策由供应商做出,不是你。这对你的业务意味着什么。
当你将AI模型部署到生产环境时,有人控制着它的行为。那个人不一定是你。
模型的行为——它说什么、拒绝什么、如何框定模糊情况——由一叠决策决定。其中一些在训练时做出。一些在人类反馈微调时做出。一些通过安全过滤系统。还有一些通过你自己写的系统提示约束。
行为栈
训练数据是基础层。训练数据选择由供应商做出。你没有输入。
RLHF/RLAIF是微调层。那些评估者由供应商招募、指导和评估。他们的偏好现在编码在模型行为中。你没有输入。
安全过滤器在许多商业系统中在生成后应用。过滤器为一系列用例校准,不是你的特定用例。
系统提示和推理参数是你控制的。温度、top-p、最大token、系统提示。你可以引导模型。你无法覆盖训练。
所以:你的模型产生输出时,行为由(1)训练数据、(2)RLHF校准、(3)安全过滤器和(4)你的系统提示和参数决定——按这个优先顺序。你只控制最后一个元素。
企业的安全过滤器问题
安全过滤器为众数用例校准。 一个拒绝讨论药物剂量的医疗AI助手对急诊医生没用。过滤器为消费者校准;部署是临床的。
这个问题出现在每个受监管领域。法律AI拒绝处理暴力犯罪案件事实。金融AI在内部分析上添加免责声明。安全AI不讨论已知漏洞。
当你拥有模型时,你也控制安全校准。你可以为你的用户群体设置适当的阈值。
模型所有权改变什么
在你的领域数据上微调开源基础模型改变了行为栈每层的控制等式。
训练数据现在是你的数据。RLHF校准可以用你的领域专家作为评估者。安全校准在你的控制下。部署和更新是明确的。
你组织的AI治理框架应该能回答:谁做了决定这个模型行为的决策?如果答案主要是"供应商",你的治理框架在最重要的层有缺口。
Ship AI that runs on your users' devices.
Free plan with 30 credits/mo, no card required. Paid plans from $10/mo USD.