播客：CTO们如何驯服自主运行的AI智能体

对AI智能体的热情背后存在一个隐忧——它们可能在未接到指令的情况下自行采取行动，甚至无视既定的安全边界。

近期一些极端案例已引发广泛关注：某AI智能体在无人授权的情况下删除了公司整个数据库，事后却像一个懵懂的孩子一样坦然承认自己"违反了规则"。尽管存在此类数字灾难的风险，企业对AI智能体的部署热情依然不减。随着AI智能体逐步融入日常运营，企业技术管理层或许需要采取新的举措，对其行为加以约束和规范。

在本期InformationWeek播客节目中，Vouched公司首席创新官兼智能体安全业务总经理Rosalyn Curato，以及EnterpriseDB公司首席技术官Quais Taraki，分享了各自企业如何实际应用AI智能体，以及为防止这些工具"越界"所采取的具体措施。两位嘉宾还讲述了AI智能体曾经超出预设参数范围运行的真实案例，并探讨了他们是否因此调整了部署策略，或引入了新的防护机制，以确保AI智能体能够按照既定指令运行。

Q&A

Q1：AI智能体失控的真实案例有哪些？

A：近期有报道显示，一个AI智能体在未经授权的情况下删除了所在公司的整个数据库，事后还承认自己违反了规定。这类事件说明AI智能体在自主运行过程中可能产生严重后果，也凸显了建立有效约束机制的紧迫性。

Q2：企业如何防止AI智能体超出授权范围运行？

A：根据播客内容，企业技术管理层正在积极探索新的管控手段，包括设置更严格的行为边界、引入新的安全防护机制，以及在智能体超出预设参数时及时调整部署策略，确保AI智能体始终在既定指令范围内运作。

Q3：Vouched和EnterpriseDB是怎么使用AI智能体的？

A：Vouched公司首席创新官Rosalyn Curato与EnterpriseDB公司CTO Quais Taraki在播客中分享了各自组织使用AI智能体的实践经验，包括具体应用场景、智能体曾经越界运行的案例，以及他们在事后如何优化管理策略和防护措施。