像管理实习生一样管理AI智能体，否则你将失去对它的控制

AI智能体正在从简单的聊天机器人演变为有权对应用程序和数据执行操作的全功能数字工作者。随着这些能力的不断增强，一系列安全与治理问题也随之而来。

在旧金山举行的近期Snowflake峰会上，一场专家小组讨论给出了一个形象的建议：像对待充满热情却容易跑偏的实习生一样对待AI智能体，给予与管理人类实习生同等程度的监督与引导。AI智能体需要明确的指令，以及来自人类管理者的持续监控。

代表AI安全服务商的小组成员一致认为，缺乏约束的智能体可能会造成极大的麻烦。Resolve AI的创始人兼首席技术官Mayank Agarwal举例说："你可能告诉智能体去帮你买双鞋，结果一转眼它给你买了辆车。"

他进一步指出："你必须认真思考赋予智能体哪些权限。不能指望智能体自觉守规矩，必须为它设置铁板钉钉的约束，限制它能做的事情。"

在部署和管理智能体时，除了约束之外，上下文语境与意图同样是关键词。1Password首席技术官Nancy Wang表示："仅仅知道智能体被创建来做什么是不够的，还必须了解它是在谁的授权下行动，以及它将如何处理所访问的数据。"

Agarwal还指出，专业人员应当抛弃旧有的软件开发思维，因为当今构建和部署智能体的方式与此前的软件开发实践截然不同。

"回到仅仅两年前，工程师清楚地知道自己将如何在不同系统之间连接API，"他说，"整个过程高度可预测：A会调用API B，B用数据做某件事，再调用C，C再继续处理数据。但在智能体的世界里，一切都无法预测。智能体会在执行过程中动态构建连接路径，给它一个目标，让它解决某个问题，它就会去尝试所有它能访问到的路径。"

这种方式可能带来专业人员和管理者始料未及的新型问题。Agarwal说，智能体"在与能够代表你执行操作的工具交互，因此你无从判断这些工具是否在泄露数据。智能体可能从一个工具读取数据，再通过另一个工具将其写入不该写入的地方。"

这一隐患引发了对"影子AI"的担忧，即AI在监管视野之外悄然运行。Tenable产品高级副总裁Jason Merrick分享了一个案例："我们有一位客户，其框架内存在12个OpenClaw实例，这些实例可访问API数据流和源代码，而且还有一名承包商通过Telegram进行通信。你说这能出什么问题呢？"

正因如此，了解智能体在幕后的行为变得极具挑战性。Wang表示，人们会不断追问："到底是谁对这个系统执行了操作？是人类、服务账户，还是智能体？你的团队可能根本不知道，或者无法百分之百确定答案。因为今天的智能体看起来像人类，但也可能表现得像服务账户，因为它们拥有你的所有权限。"

因此，需要在治理与访问权限之间找到平衡，因为AI是提升生产力和推动创新的强大工具，必须保有一定的自主行动能力。Wang建议："不能一味地封堵或设防。"

这种平衡的需求也说明了为何深度的人工监督至关重要。Merrick建议："关注员工通过Copilot、Claude Chat或Gemini等工具创建的内容，检查它们的配置，看看AI的配置是否有误，它在访问哪类数据，并能够对此采取行动。同时，也要审查提示词本身——这些提示词在与什么进行交互？"

Wang指出，这正是护栏机制和传统身份管理最佳实践发挥关键作用的地方。最大的风险将来自"一个被过度授权、持有长期有效凭证的智能体"。

在安全与治理的设计上，面对的是"非确定性存在"，这本身就是一大挑战，Wang继续说道："关键在于允许它们发挥创造力，同时以SDK的形式施加传统指令集。你希望有可预测的控制，但又不能约束过度，以至于失去生产力上的收益。"

Wang最后总结道，专业人员需要牢记：智能体和实习生一样，需要"非常非常具体的指令"。"它们有时仍会偏离预期路径。无论是考虑对智能体的治理，还是对完整智能体轨迹的追踪，归根结底都是要做到完全可见、能够及时修正，并确保从一开始就设定正确的意图——这个意图必须贯穿智能体每一个步骤、每一次行动的始终。"

Q&A

Q1：AI智能体为什么需要像管理实习生一样被管理？

A：因为AI智能体具备自主行动能力，但缺乏判断力，可能在没有明确约束的情况下执行超出预期的操作，例如被要求买鞋却买了一辆车。它们需要非常具体的指令、明确的权限限制，以及持续的人工监督，才能确保行为符合预期目标，避免造成数据泄露、越权操作等安全风险。

Q2：AI智能体的"影子AI"问题具体指什么风险？

A：影子AI指的是AI智能体在监管视野之外悄然运行的情况。例如，某企业框架内存在多个未受监控的AI实例，这些实例可访问API数据流和源代码，还有承包商通过非正式渠道（如Telegram）与之通信。这类情况可能导致数据被泄露或写入不该写入的位置，企业团队甚至无法判断某个操作是由人类、服务账户还是智能体发起的。

Q3：如何在AI智能体的治理与自主性之间找到平衡？

A：专家建议不要一味封堵AI智能体的访问权限，而应通过设置护栏机制、采用传统身份管理最佳实践、审查智能体配置及提示词内容来实现有效管控。同时，要避免为智能体分配过度权限或长期有效凭证。核心原则是：从一开始就设定清晰的行动意图，并确保该意图贯穿智能体的每一步操作。