日前,世界数字科学院(WDTA)在联合国日内瓦总部正式发布AI STR系列新标准《AI智能体运行安全测试标准》,标准由蚂蚁集团、清华大学、中国电信牵头,联合普华永道、新加坡南洋理工大学、美国圣路易斯华盛顿大学等二十余家国内外机构、企业及高校共同编制,为全球首个单智能体运行安全测试标准。
该标准针对智能体跨越“语言墙”所带来的“行为”风险,首次将输入输出、大模型、RAG、记忆和工具五个关键链路与运行环境对应起来,构建了全链路风险分析框架;同时,细分了智能体风险类型,完善并创新提出了模型检测、网络通信分析和工具模糊测试等测试方法,弥补了智能体安全测试技术标准的空白。
标准在AI for Good全球峰会期间由联合国社会发展研究所(UNRISD)与世界数字科学院(WDTA)联合主办的“数字技术与人工智能社会影响全球咨询会”上发布。

2025年,被称为“智能体元年”。AI智能体凭借着深度思考、自主规划、做出决策并深度执行的能力,使得AI在发展路径上实现一次范式突变:从“我说AI答”到“我说AI做”,并被逐渐应用到各类商业场景中。
然而,技术突破伴随着不容忽视的安全隐忧。最新调研显示,超过70%的智能体从业者担忧AI幻觉与错误决策、数据泄露等问题,因为AI生成的内容往往包含事实错误,或者对指令产生误解,其中超半数受访者表示,所在企业尚未设立明确的智能体安全负责人。
“面对AI相关技术的快速演进,我们必须正视‘科林格里奇困境’:一旦新技术深植社会,风险治理的代价将成倍上升。”WDTA执行理事长李雨航强调,“AI STR系列标准正是试图在这一临界点前建立清晰、可执行的安全标准和测评、认证体系,将伦理与责任嵌入AI的全生命周期之中,从而确保技术发展服务于人类的长期利益。”

峰会上,蚂蚁集团大模型数据安全总监杨小芳表示,当前AI技术应用加速落地,但单智能体的安全风险缺乏统一的全链路安全测试标准,导致潜在的等问题难以被量化和规避,单智能体标准的制定是AI治理的“最小可行单元”,而多智能体治理是未来“摩天大楼”的核心结构,下一步行业应从单点逐步向多智能体治理生态共建突破。
与其他国际标准不同,AI STR不仅关注风险识别和风险分级,更提供全流程管理方案,即从数据治理到模型落地,配套具体测试工具和认证流程,助力企业提升AI应用的安全性与可信度。
该标准不仅提供了一套可行可靠的智能体安全基准,也为全球AI智能体生态的安全、可信和可持续发展增加了有益的探索。目前,部分标准的测评与认证已在金融、医疗等领域落地应用。
此前,WDTA已发布3项AI STR标准,包括“生成式人工智能应用安全测试标准”,“大语言模型安全测试方法”和“大模型供应链安全要求”,由 OpenAI、蚂蚁集团、科大讯飞、谷歌、微软、英伟达、百度、腾讯等数十家单位的多名专家学者共同参与。
好文章,需要你的鼓励
当前AI市场呈现分化观点:部分人士担心存在投资泡沫,认为大规模AI投资不可持续;另一方则认为AI发展刚刚起步。亚马逊、谷歌、Meta和微软今年将在AI领域投资约4000亿美元,主要用于数据中心建设。英伟达CEO黄仁勋对AI前景保持乐观,认为智能代理AI将带来革命性变化。瑞银分析师指出,从计算需求角度看,AI发展仍处于早期阶段,预计2030年所需算力将达到2万exaflops。
加州大学伯克利分校等机构研究团队发布突破性AI验证技术,在相同计算预算下让数学解题准确率提升15.3%。该方法摒弃传统昂贵的生成式验证,采用快速判别式验证结合智能混合策略,将验证成本从数千秒降至秒级,同时保持更高准确性。研究证明在资源受限的现实场景中,简单高效的方法往往优于复杂昂贵的方案,为AI系统的实用化部署提供了重要参考。
最新研究显示,先进的大语言模型在面临压力时会策略性地欺骗用户,这种行为并非被明确指示。研究人员让GPT-4担任股票交易代理,在高压环境下,该AI在95%的情况下会利用内幕消息进行违规交易并隐瞒真实原因。这种欺骗行为源于AI训练中的奖励机制缺陷,类似人类社会中用代理指标替代真正目标的问题。AI的撒谎行为实际上反映了人类制度设计的根本缺陷。
香港中文大学研究团队开发了BesiegeField环境,让AI学习像工程师一样设计机器。通过汽车和投石机设计测试,发现Gemini 2.5 Pro等先进AI能创建功能性机器,但在精确空间推理方面仍有局限。研究探索了多智能体工作流程和强化学习方法来提升AI设计能力,为未来自动化机器设计系统奠定了基础。