"人在回路"为何不够用？智能体AI治理的困境与出路

自动化技术诞生以来，人类始终扮演着不可或缺的角色：负责搭建系统，并在系统出错时介入排查。从18世纪的雅卡尔织布机，到生成式AI革命前主导自动化市场的机器人流程自动化（RPA），每当机器出现故障或偏离轨道，人类都必须及时介入。

然而，RPA已成过去式。如今，企业自动化的核心议题已转向智能体AI——通过编排自主AI智能体，借助大语言模型的强大能力构建并运行自动化流程。

由于智能体容易"跑偏"——这是大语言模型非确定性特征带来的副作用——智能体AI治理已成为任何考虑部署智能体的组织的必备能力。然而，利用AI自身来管控智能体工作流，既困难又昂贵，且并不总是奏效。

面对这一难题，众多智能体AI治理厂商给出了一个下意识的答案：让人类介入回路，即"人在回路"（HITL）机制。理论上，只要有人把关，智能体工作流就不会失控，人类负责最终审批，一切就有了保障。

表面上看，HITL逻辑自洽，毕竟它在以往的自动化场景中行之有效。但实际上，HITL存在根本性缺陷——任何依赖HITL的智能体AI治理方案，都注定难以为继，尤其是当组织试图在生产环境中扩大规模时，问题将愈发突出。

HITL的核心问题

HITL的问题根源往往不在技术，而在人类自身的心理局限。

源于个体心理局限的问题包括：自动化偏见（即便系统出错，人们仍倾向于信任自动化）、认知超载（长期监督高频且鲜少出错的自动化系统令人精疲力竭，注意力难以持续集中），以及责任推卸（随着对智能体行为的熟悉，人们逐渐认为审批是系统的职责，自己的介入可有可无）。

源于群体协作局限的问题包括：橡皮图章问题（人类介入并不意味着真正有能力纠正问题，HITL沦为走过场）、打勾问题（所谓"人工监督"不过是完成合规检查，而非对自动化流程的实质控制），以及责任漂白问题（一旦出错，各方相互推诿，人人都有借口脱责）。

源于技术局限的问题包括：信息黑洞问题（人类依赖系统提供决策所需信息，但系统往往提供不足，令人无从判断真实情况）、界面简化问题（治理工具惯用简化的"红绿灯"仪表盘，掩盖了智能体系统的复杂性，使系统得以规避人工监督），以及"应试"问题（一旦智能体系统理解了审计规则，便能学会通过审计，同时掩盖自身的持续异常行为）。

随着规模扩大，问题还将持续恶化：复杂度的增长速度远超人类理解能力，人工管控的空间不断压缩；异常处理逐渐成为人类介入的唯一场景，问题越来越容易被遗漏；自动化系统以秒为单位做出决策，而人工治理依赖会议、审批、审计、法律审查等流程，往往需要数小时乃至数月，系统已严重偏轨，人类却还在准备开会讨论。

现有解决方案真的管用吗？

针对上述问题，业界提出了多种应对方案。

一是限制智能体权限：通过严格定义权限、限制系统自我优化、引入强制性审查节点等方式约束智能体行为。

二是打造更好的工具：确保智能体系统具备透明度和可溯源性，治理仪表盘应真实反映系统的完整复杂度，而非一味简化。

三是切实赋权人类：将人类介入前移至设计阶段，而非仅在审批环节把关；组建对抗性审查团队，主动排查问题；推行"自働化"（Jidoka）原则——这一源自精益生产的理念，赋予每位员工在发现问题时立即叫停自动化流程的权力，且无需承担任何风险。

然而，这些方案虽有其合理之处，但无论单独还是组合使用，都不足以解决根本问题——它们往往与业务目标相悖：限制智能体能力，而业务方希望增强；拖慢自动化速度，而业务方希望提速；增加人力需求，而业务方希望降低人工依赖。业务扩张与治理需求之间的矛盾，将随着规模的增长愈演愈烈。

真正的出路：重新定义HITL

所有HITL方案的共同点在于：都将人的角色定位为自动化系统执行流程的一个环节。要解决问题，必须反转这一逻辑——将自动化视为人类处理日常工作的辅助工具，而非主体。

这就引出了"自动化在回路"（AITL）的理念：所有自动化，无论是否具备智能体特征，都应服务于人类交互，而人类交互始终是企业运营的核心。

AITL的基本原则包括：

第一，认识到智能体AI治理是一个高度敏感的企业政治议题，高层必须就正确路径达成共识，并意识到优化智能体自动化的冲动终将与组织战略目标产生冲突。

第二，明辨哪些人工流程值得保留，不要假设自动化能解决一个本不存在的问题。

第三，主动管理并合理分配智能体权限，确保人类始终对智能体系统保持更高层级的控制权——智能体的"能动性"不应削弱人类的主体地位，而应服务于人类。

第四，绝不允许智能体系统直接做出影响业务的决策，智能体的角色是辅助，而非决策，须通过对抗性手段主动排查智能体的自主决策行为，确保决策始终可见且由人类主导。

第五，关注情境密度，将高密度交互保留给人类，充分发挥人类的创造力、洞察力、同理心和常识判断力，同时以此作为划定人工与自动化边界的可量化依据。

第六，时刻着眼于规模化——将当前方案延伸到未来，当智能体系统变得更快、更强大、成本更低时，AITL方案是否依然有效？若随着智能体能力增强而逐渐失效，则说明在治理路径的选择上已经走偏。

Intellyx观点

对于正在寻求智能体AI治理方案的企业而言，应警惕那些将HITL作为核心卖点的厂商。尽管如此，AITL仍是一个尚处萌芽阶段的变革性理念，厂商意识到HITL的不足、转而拥抱AITL，还需要一定时间。

在此过程中，企业需要自问：在智能体AI治理市场尚未成熟之前，是否准备好承受HITL所带来的种种问题？每个组织都必须自行作答。但可以肯定的是，向厂商施压、要求真正解决这一问题，将是推动市场进步的有效动力——毕竟，利益驱动才是最有力的催化剂。

Q&A

Q1：什么是"人在回路"（HITL），为什么它在智能体AI治理中存在根本缺陷？

A：HITL即在自动化流程中引入人工审批环节，作为智能体系统失控的最后防线。其根本缺陷在于：人类存在自动化偏见、认知超载等心理局限；群体协作中容易出现责任推卸和流于形式的监督；技术层面则面临信息不透明和界面过度简化等问题。更关键的是，随着智能体系统规模扩大，人工治理的滞后性将愈发突出，系统可能已严重偏轨，人类却还未完成审批流程。

Q2："自动化在回路"（AITL）与"人在回路"（HITL）有什么核心区别？

A：HITL将人类视为自动化系统的一个执行环节，而AITL则反转了这一逻辑——将自动化定位为辅助人类完成日常工作的工具。AITL的核心原则是：智能体系统的"能动性"必须始终服务于人类主体地位，不允许智能体直接做出业务决策，人类须保持对自动化流程的更高层级控制权，同时通过情境密度等指标划定人工与自动化的合理边界。

Q3：企业在部署智能体AI时，应如何评估现有治理方案是否足够可靠？

A：企业可从以下几个维度进行评估：一是该方案是否会随智能体系统规模扩大而逐渐失效；二是方案是否与业务提速、降本的目标存在根本冲突；三是人工介入环节是否真正具备纠错能力，还是流于形式；四是方案是否允许智能体系统直接做出业务决策。若方案依赖HITL且无法回答上述问题，企业应谨慎评估风险，并主动要求厂商提供更具前瞻性的治理架构。