human-in-the-loophuman-on-the-loopai-autonomyai-governance负责任 AI
人在环中 vs 人在环上 vs 人在环外:有什么区别
三个听起来相似但代表根本不同风险特征的术语。随着 AI 进入高风险决策,理解区别比以往更重要。
Edward Xi Yang
精确定义
人在环中 (HITL)
人必须在系统继续之前行动。AI 提议,人批准或拒绝,只有得到明确授权才执行。关键词是"停止"。
人在环上 (HOTL)
AI 自主行动。人监控输出并有能力干预——但行动在人决定之前就已发生。
人在环外 (HOOTL)
完全自主。没有人参与个别决策。
并排对比
| 维度 | HITL | HOTL | HOOTL |
|---|---|---|---|
| 谁决定 | 人(AI 推荐) | AI(人可覆盖) | 仅 AI |
| 错误恢复 | 行动前:错误被阻止 | 行动后:如捕获则可逆 | 行动后:错误可能未被发现地复合 |
| 监管地位 | 高风险 AI 要求 | 中等风险可接受 | 仅低风险决策 |
自动化偏见问题
HOTL 系统经常在实践中成为事实上的 HOOTL 系统,因为人类监控者变成被动观察者而非主动审查者。这就是为什么受监 管行业越来越要求 HITL 而非接受 HOTL 作为等效监督。
监管立场
FDA (SaMD): Class II 和 III 是 HITL 要求。 美联储 SR 11-7: 需要"有效挑战"。 EU AI Act: 高风险 AI 系统必须使人能够"监控、理解和有效覆盖"。 ABA 示范规则: 律师对使用 AI 工具产出的工作负责。
何时 HOTL 和 HOOTL 适用
HOOTL: 高频率、低后果、易可逆的决策。 HOTL: 中等后果、大部分可逆。 HITL: 高后果、难以逆转。
Ertas Data Suite 为需要真正 HITL 兼容 AI 管道的团队构建。
Ship AI that runs on your users' devices.
Free plan with 30 credits/mo, no card required. Paid plans from $10/mo USD.
Keep reading
AI 辅助 vs AI 主导:高风险环境的决策框架
一个清晰的框架,区分咨询型 AI 和决策型 AI——以及理解每种何时适用。风险决定结构。
Edward Xi Yang
AI Agent 的人机协同:当你的自主系统需要检查点
浏览网页、执行代码和链式工具调用的 AI Agent 创造了新的 HITL 挑战。以下是如何在它们采取不可逆行动之前设计人工监督。
Edward Xi Yang
HITL 工作流设计工作表:将任何 AI 用例转化为人机协同系统
设计人工监督融入 AI 工作流的实用工作表。涵盖风险评估、干预点、审查界面需求、升级阈值和审计要求。
Edward Xi Yang