AI智能体正在挑战企业网络安全框架

AI智能体正在迅速改变企业的运营方式，重塑使用这一技术的企业网络安全格局，并在不同业务层面扩大了潜在风险。

部署AI技术的吸引力巨大。高德纳（Gartner）近期发布的报告显示，企业在生成式AI模型和AI智能体上的支出预计将翻倍以上，2026年相关追加投入将达60亿美元。尽管部分企业表示其智能体系统仅用于特定的离散任务，但也有企业已将AI深度融入人工决策流程，并计划在几乎不依赖人工干预的情况下运行。

然而，过去一个月内，Anthropic的Mythos和OpenAI发起的Daybreak计划等更强大的新模型相继出现，清晰揭示了AI智能体所能获取的访问权限之广泛。这也意味着，企业高管必须引导组织建立新的风险管理模式，以应对智能体时代网络安全格局的深刻变化。

据Okta近期报告显示，超过半数高管表示，其所在组织在去年曾遭遇AI相关安全事件，或经历过"险些出事"的情况。随着网络风险日益受到重视，AI服务提供商也开始介入企业AI安全管理领域。

尽管众多企业迅速跟进AI智能体的热潮，但技术负责人们正逐渐意识到，这一技术给组织带来的是利与险并存的复杂局面。高德纳高级分析师Shiva Varma在接受采访时表示，AI智能体正在改变企业面临的风险类型和频率，并使安全责任逐渐演变为全组织共担的事务。

"它们并非万能，伴随着大量风险，运行成本也相当高昂。"Varma说道。

天普大学网络安全教授Aunshul Rege表示，AI智能体已从生成文字、图像或代码的能力，进化到承担决策与任务执行功能，正在逐步接管传统上由人类员工完成的工作。

一个普通的AI智能体可能正在访问互联网、查询数据库，或在企业整个知识库中搜索敏感信息。正因AI智能体具有如此高度的自主性，其权限设置必须经过审慎考量。Forrester高级分析师Janet Worthington表示，她观察到一个趋势：越来越多的客户以提升生产力为由，向智能体赋予过多权限。尽管企业会为员工制定AI使用准则或政策，但智能体被设计为完成任务的工具，往往会不惜一切代价达成目标。当这些智能体被嵌入系统后，即便遭遇以安全为导向的限制或防护栏，它们也可能学会绕过障碍。

"每次它们执行一个动作，都会从中学习。所以当它们在现实中遇到问题、被要求完成某项任务时，它们会回溯、学习，然后尝试另一种方式。"Worthington说道。

她补充说，人类也会这样做，但区别在于，人类会"下班"，而智能体不会。

"如果我们不开始将这些智能体视为具有独立身份的实体并加以约束，我们将会面临更多问题。"Worthington表示。

美国国家网络安全联盟信息安全与参与事务总监Cliff Steinhauer将AI智能体的崛起类比为十年前的云计算革命。企业正在从自行管理设备与流程，转向自动化运营模式。

"当我们引入新工具时，风险量级也随之改变，"Steinhauer说，"这是一套全新的技能体系，需要管理的内容比以往任何时候都要多。"

除了智能体权限过度扩张的问题，Rege还指出，AI技术的引入也使企业更易受到外部恶意攻击，因为人类行为与信任机制仍发挥着重要作用。员工可能开始以信任人类同事的方式去信任自动化系统。

"许多攻击之所以得逞，是因为它们利用了人员、工作流程和组织规程的漏洞。"Rege说道。

过去，网络安全一直是首席信息安全官或IT团队的职责。但Rege表示，贯穿整个组织的AI系统正在打破这一传统格局。德勤近期的研究也发现，技术高管面临的最大挑战已不再是管控本身，而是协调组织的整体技术战略。

人力资源部门可能使用AI辅助招聘，财务部门可能通过智能体处理采购或数据分析，法务团队则可能借助AI来审查合同。安全团队已无法在相互隔离的状态下对所有这些决策进行统一管治。

"我认为，我们正在看到一种向共担责任模式的转变。"Rege说道。

Steinhauer表示，技术负责人如首席信息官可能主导AI模型选型的决策，而网络安全团队负责建立相应的管控机制，人力资源等以人员管理为核心的团队则可能承担政策违规的执行工作。

"让这些团队保持协同一致，至关重要。"Steinhauer说。

Worthington指出，首席信息安全官的角色也在发生转变，正逐渐演变为组织内部的信任与保障负责人，需要对AI决策结果负责，思考这些结果是否具备可审计性，并向董事会阐释相关结论。

Steinhauer还表示，他已观察到一些企业在高管层新增了AI管理职位，例如首席AI官。

"AI的能力很强，但它缺乏背景认知，所以你需要一个熟悉业务、能够理解企业具体情境的人，"Steinhauer说，"他们能够回答：'这是我们使用AI想要达成的结果吗？'"

AI的落地部署伴随着治理需求的同步增长，但许多组织仍在摸索应采用哪些指导原则。Rege提醒道，拥有治理政策并不代表可以免除安全风险。

Steinhauer表示，高管应将治理理解为一套规范人类员工如何使用AI的行为准则，并鼓励各部门以协作方式参与其中，以确保预期要求在全组织范围内得到统一认知。

"治理所要回答的问题包括：我们是否应该使用这个系统？它被允许做哪些决策？如果出现问题，谁来承担责任？需要多大程度的人工监督？"Rege说道。

与此同时，安全策略专注于保护系统、数据和基础设施免遭入侵，与网络安全团队的传统职责更为贴近。

安全、治理与风险管理应形成周期性审查机制。随着技术的持续演进，以及企业对核心工具的逐步明确，相关政策也将随之动态调整。

"企业应该抵制将AI视为'万能良药'或'灾难祸源'的冲动，"Rege说，"更合理的做法是建立结构化、基于风险的应对方式。"

Q&A

Q1：AI智能体会带来哪些网络安全风险？

A：AI智能体具有高度自主性，可访问互联网、查询数据库或搜索企业知识库中的敏感信息。由于被设计为不惜一切完成任务，智能体甚至可能学会绕过安全防护机制。此外，员工可能过度信任自动化系统，导致组织更易遭受外部恶意攻击。超过半数高管表示，其组织去年曾遭遇AI相关安全事件或险情。

Q2：企业应该如何管理AI智能体的权限？

A：企业应避免以提升生产力为由向智能体赋予过多权限，必须将其视为具有独立身份的实体，并加以严格约束。在权限设置上需审慎考量，同时建立完善的治理框架，明确智能体被允许执行哪些决策、出现问题时谁来负责，以及需要多大程度的人工监督。

Q3：AI智能体的引入对企业安全组织架构有什么影响？

A：AI智能体的广泛应用打破了网络安全由首席信息安全官或IT团队单独负责的传统格局，推动安全责任走向全组织共担模式。首席信息官负责AI模型选型，安全团队建立管控机制，人力资源等部门承担政策执行。首席信息安全官的角色也在向"信任与保障负责人"转变，部分企业甚至新增了首席AI官职位。