日前,世界数字科学院(WDTA)在联合国日内瓦总部正式发布AI STR系列新标准《AI智能体运行安全测试标准》,标准由蚂蚁集团、清华大学、中国电信牵头,联合普华永道、新加坡南洋理工大学、美国圣路易斯华盛顿大学等二十余家国内外机构、企业及高校共同编制,为全球首个单智能体运行安全测试标准。
该标准针对智能体跨越“语言墙”所带来的“行为”风险,首次将输入输出、大模型、RAG、记忆和工具五个关键链路与运行环境对应起来,构建了全链路风险分析框架;同时,细分了智能体风险类型,完善并创新提出了模型检测、网络通信分析和工具模糊测试等测试方法,弥补了智能体安全测试技术标准的空白。
标准在AI for Good全球峰会期间由联合国社会发展研究所(UNRISD)与世界数字科学院(WDTA)联合主办的“数字技术与人工智能社会影响全球咨询会”上发布。
2025年,被称为“智能体元年”。AI智能体凭借着深度思考、自主规划、做出决策并深度执行的能力,使得AI在发展路径上实现一次范式突变:从“我说AI答”到“我说AI做”,并被逐渐应用到各类商业场景中。
然而,技术突破伴随着不容忽视的安全隐忧。最新调研显示,超过70%的智能体从业者担忧AI幻觉与错误决策、数据泄露等问题,因为AI生成的内容往往包含事实错误,或者对指令产生误解,其中超半数受访者表示,所在企业尚未设立明确的智能体安全负责人。
“面对AI相关技术的快速演进,我们必须正视‘科林格里奇困境’:一旦新技术深植社会,风险治理的代价将成倍上升。”WDTA执行理事长李雨航强调,“AI STR系列标准正是试图在这一临界点前建立清晰、可执行的安全标准和测评、认证体系,将伦理与责任嵌入AI的全生命周期之中,从而确保技术发展服务于人类的长期利益。”
峰会上,蚂蚁集团大模型数据安全总监杨小芳表示,当前AI技术应用加速落地,但单智能体的安全风险缺乏统一的全链路安全测试标准,导致潜在的等问题难以被量化和规避,单智能体标准的制定是AI治理的“最小可行单元”,而多智能体治理是未来“摩天大楼”的核心结构,下一步行业应从单点逐步向多智能体治理生态共建突破。
与其他国际标准不同,AI STR不仅关注风险识别和风险分级,更提供全流程管理方案,即从数据治理到模型落地,配套具体测试工具和认证流程,助力企业提升AI应用的安全性与可信度。
该标准不仅提供了一套可行可靠的智能体安全基准,也为全球AI智能体生态的安全、可信和可持续发展增加了有益的探索。目前,部分标准的测评与认证已在金融、医疗等领域落地应用。
此前,WDTA已发布3项AI STR标准,包括“生成式人工智能应用安全测试标准”,“大语言模型安全测试方法”和“大模型供应链安全要求”,由 OpenAI、蚂蚁集团、科大讯飞、谷歌、微软、英伟达、百度、腾讯等数十家单位的多名专家学者共同参与。
好文章,需要你的鼓励
本文探讨如何使用生成式AI和大语言模型作为倾听者,帮助用户表达内心想法。许多主流AI如ChatGPT、Claude等被设计成用户的"最佳伙伴",或试图提供心理健康建议,但有时用户只想要一个尊重的倾听者。文章提供了有效的提示词技巧,指导AI保持中性、尊重的态度,专注于倾听和理解,而非给出建议或判断。同时提醒用户注意隐私保护和AI的局限性。
北京大学团队开发出WoW世界模型,这是首个真正理解物理规律的AI系统。通过200万机器人互动数据训练,WoW不仅能生成逼真视频,更能理解重力、碰撞等物理定律。其创新的SOPHIA框架让AI具备自我纠错能力,在物理理解测试中达到80.16%准确率。该技术将推动智能机器人、视频制作等领域发展,为通用人工智能奠定重要基础。
人工通用智能和超级人工智能的出现,可能会创造出一种全新的外星智能形态。传统AI基于人类智能模式构建,但AGI和ASI一旦存在,可能会选择创造完全不同于人类认知方式的新型智能。这种外星人工智能既可能带来突破性进展,如找到癌症治愈方法,也可能存在未知风险。目前尚不确定这种新智能形态是否会超越人类智能,以及我们是否应该追求这一可能改变人类命运的技术突破。
香港大学和蚂蚁集团联合推出PromptCoT 2.0,这是一种让AI自动生成高质量训练题目的创新方法。通过"概念-思路-题目"的三步策略,AI能像老师备课一样先构思解题思路再出题,大幅提升了题目质量和训练效果。实验显示该方法在数学竞赛和编程任务上都取得了显著提升,为解决AI训练数据稀缺问题提供了新思路。