Gartner报告发现,对所有AI智能体采用统一的治理策略会导致企业项目失败率上升。该机构预测,到2027年,40%的企业将停用智能体,原因是技术团队未能区分智能体的行动能力与其被授予的访问权限范围。
Gartner高级总监分析师Shiva Varma在接受CIO Dive采访时表示,许多团队发现,当他们扩展工具规模或将其推向生产环境时,这些工具具备了不应具备的能力。"很多组织要么完全没有AI治理,没有智能体治理,要么采用非常笼统的一揽子政策来进行治理。"
Gartner研究发现,采用比例治理方法,为不同智能体赋予不同战略级别的权限和自主性,可以避免企业遭遇这些失败。
几乎在企业努力采用AI工具的同时,企业就不得不为能够访问敏感信息的自主智能体制定人工监督和治理政策。AI服务提供商也投入资源,为快速适应的智能体工作流程提供治理功能。
Gartner高级总监分析师Shiva Varma表示,许多企业对AI智能体治理采取二元方法,要么完全控制,要么完全信任。当所有智能体都受到相同控制时,组织可能会过度限制简单智能体,从而减缓交付速度并推动影子开发;或者对自主智能体限制不足,从而增加安全和风险隐患。
Gartner建议采用比例治理方法,根据智能体的角色设置四个不同级别的自主性和边界——观察、建议、经批准后行动和自主行动。Varma表示,主要用于阅读或总结文档的智能体可能只需要基线控制,例如限定数据访问范围或用户身份验证。
但用于提供建议或生成需要人工审核的推荐的智能体,将需要更高级别的监督,如输出质量审查、幻觉测试以及关于适当依赖性的用户培训。能够在批准后执行操作的智能体,如发送通信或修改配置,需要"有意义的控制",Varma说。
Gartner指出,能够自主行动、独立执行操作的智能体需要最严格的防护措施。
"这时你需要非常非常具体和谨慎地校准你的防护措施,并确保也有一些人工抽样检查,"Varma说。
尽管Solvd最近调查的80%技术领导者表示他们感受到让AI项目成功的压力,但Varma表示,拥有成功防护措施的企业通常与跨职能团队合作,包括技术高管、工程师、业务部门和法律团队。
"治理不应该由某一个人负责,那本身就是一种失败模式,"他说。"关键在于这是一个共享的、可重复的分类体系。它不是来自单一高管的自上而下的命令。"
Q&A
Q1:为什么企业对AI智能体采用统一治理策略会导致失败?
A:因为当所有智能体都受到相同控制时,会出现两种问题:要么过度限制简单智能体,减缓交付速度并推动影子开发;要么对自主智能体限制不足,增加安全和风险隐患。Gartner预测到2027年,40%的企业将因技术团队未能区分智能体的行动能力与访问权限范围而停用智能体。
Q2:什么是比例治理方法?包括哪些级别?
A:比例治理方法是根据智能体的角色设置不同级别的自主性和边界。Gartner建议设置四个级别:观察、建议、经批准后行动和自主行动。不同级别的智能体需要不同程度的控制措施,从基线控制到最严格的防护措施,确保智能体的能力与其权限相匹配。
Q3:企业如何建立成功的AI智能体治理体系?
A:成功的治理体系需要跨职能团队合作,包括技术高管、工程师、业务部门和法律团队。治理不应由单一个人负责,而应该是一个共享的、可重复的分类体系,而不是来自单一高管的自上而下的命令。这样才能确保治理策略的全面性和有效性。
好文章,需要你的鼓励
美国最高法院以6比3的投票结果,裁定手机位置信息受第四修正案隐私权保护。法院认为,用户在使用谷歌等科技公司服务时,并非主动共享位置数据,因此执法机构在申请地理围栏搜查令时,必须证明存在"合理犯罪嫌疑"并获得法院批准。此裁决虽未完全禁止地理围栏搜查令,但对其使用范围加以限制,对美国执法实践及隐私保护具有深远影响。
南加州大学团队发现语音抑郁检测领域存在数据漏洞,并提出CLeaD跨语言对比对齐框架,揭示模型规模越大跨语言性能越差的反直觉规律。
佛罗里达州男子Angelo Martino以网络安全公司勒索软件谈判员身份为掩护,与黑客合谋部署BlackCat勒索软件攻击美国企业,被判处逾五年有期徒刑。美国司法部同时没收其逾1000万美元加密货币及资产。Martino与Kevin Martin、Ryan Goldberg三人于2023年联手实施多起攻击,其中一次成功勒索约120万美元后三人平分。BlackCat曾于2024年2月入侵医疗巨头Change Healthcare,导致逾1.92亿人敏感数据外泄。
KAIST等机构提出3D HAMSTER,通过为视觉语言模型加入深度编码器和几何重建损失,让机器人规划器直接输出三维轨迹,解决了分层机器人系统中规划与执行的维度不匹配问题,显著提升了操作鲁棒性。