Human-in-the-Loop
人在回路高风险操作前必须人工确认——付款、删除、外发邮件等。
详解
人在回路(Human-in-the-Loop,HITL)是指在 Agent 执行流程中,对某些高风险、不可逆的操作设置"暂停点",强制等待人工确认后才能继续。不是所有操作都需要人工介入——低风险动作(查询天气、读取文件)完全自动化;中等风险的操作(发送内部报告)可异步通知人;真正需要同步等待确认的,是那些"一旦发出就无法撤回"的操作:向客户发外部邮件、执行删库命令、发起付款、修改生产环境配置。核心设计原则:按风险分级,只在最高风险层强制 HITL,否则审批疲劳会让人随手点"确认",反而失去意义。好的 HITL 还要留下审批人、时间、输入、模型建议和最终动作的审计记录,方便事后追责和合规检查,特别适合金融、医疗和生产运维场景。
一个类比
像手术室的"暂停核查"制度(Surgical Time-Out)。主刀医生准备切第一刀之前,整个团队必须停下来,对着单子大声确认:病人名字对不对?手术部位对不对?麻醉准备好了吗?这一步耽误不了两分钟,但防止了无法挽回的失误。Agent 的 HITL 就是这个"切第一刀前的暂停核查"。
举个例子
财务 Agent 流程: 1. 自动分析报销单,判断金额合理 → 无需人工 2. 起草付款申请邮件草稿 → 无需人工 3. 即将向供应商银行账户转账 ← 【暂停】等待财务主管在审批界面确认 - 显示:收款方、金额、备注 - 操作:[确认转账] [拒绝并说明原因] 4. 收到确认信号后,Agent 继续执行转账 如果 Agent 被间接注入了恶意指令,把收款账号替换成了攻击者账号, HITL 的"人眼最终确认"就是最后一道防线。
PYTHON 示例
相关概念
- → Guardrails· 护栏
- → Sandbox· 沙箱