近日,昇思MindSpore支撑华为OCR云服务正式通过独立机构的AI C4审计认证,安全目标100%达成。这标志着昇思MindSpore的安全能力达到了业界领先水平,能够满足业界最高水平的AI云服务审计要求。此前,在德国,华为基于业务用例的试点项目向德国联邦信息安全办公室(BSI) 提供建议,支持其发布了AI云服务合规标准目录(AI C4),这是业界首个面向AI云服务的安全标准。

伴随着人工智能不断发展,在极大提升人们生产生活品质的同时,AI具有的技术特性如通用目的性、算法黑箱性以及数据依赖性等,在社会、企业、个人等维度引发了不小的风险与挑战,仅凭C5标准还不足以完全应对。为此,德国联邦信息安全局制定了一项特定于AI云服务的审计标准AI C4(AI Cloud Service Compliance Criteria Catalogue)——该标准设定了安全的基线水平,可通过独立审计机构对于AI云服务在其生命周期内的安全性进行可靠评估。
OCR服务是利用光学设备对图像进行捕获并完成文字识别的过程,可兼顾达成人力节约与效率提升的双目标。但痛点就在于,当攻击者对待识别的文字做出肉眼不易察觉的修改时,将会导致实施算法的模型无法对该修改做出正确的识别或处理,造成OCR服务对文字的识别准确率下降,但使用人员却很难看到这问题背后的真因。
昇思MindSpore从开源AI框架的角度出发,围绕AI全生命周期,构建出以下重点技术能力:
①模型安全
通过鲁棒性评测、对抗测评、对抗训练、模型加密等,实现模型保护;
②隐私保护
构建了隐私评估、差分隐私训练、联邦学习等技术,保障数据隐私;
③可解释性
通过原创语义级可解释技术、可解释方法工具集等,提高模型的可解释性,增强用户理解度,让用户更信任并有效地使用模型。
本次认证中,华为技术团队使用了昇思MindSpore模型安全评测工具MindSpore Armour对OCR服务进行安全性测评。从中发现,目前大多数OCR服务的算法模型均存在识别自然扰动和防御样本对抗能力差的问题,如文本框检测模型在校验噪声、PGD、PSO(粒子群)等攻击算法下的准确率小于66%。华为技术团队针对这些问题对模型开发进行指导,通过对抗样本检测、数据增强训练等技术,使模型对恶意样本的识别准确率达到 95+%,提高了模型及OCR服务的鲁棒性,达成了AI C4标准对AI云服务安全和鲁棒性的要求。


除助力华为OCR云服务通过AI C4认证外,昇思MindSpore率先出击,携手法荷多方权威评估和认证机构,在2021年完成了AI框架领域的认证标准制定,并于今年4月获得荷兰NSCIB颁发的CC EAL2+认证证书,填补了AI框架领域在安全标准上的空白,成为全球首个获得CC认证的AI框架,实现从0到1的突破。
此外,昇思MindSpore经过云计算开源产业联盟(OSCAR)评估,荣获全国首批《可信开源社区评估体系》认证。
在智能时代的浪潮中,昇思MindSpore致力于实现可信AI的最高要求,从安全技术和安全治理上不断提升AI安全水平。未来,昇思MindSpore仍将持续创新,与行业客户共同应对人工智能领域安全的风险与挑战,为客户提供更安全更可信的应用及服务。
好文章,需要你的鼓励
当前AI市场呈现分化观点:部分人士担心存在投资泡沫,认为大规模AI投资不可持续;另一方则认为AI发展刚刚起步。亚马逊、谷歌、Meta和微软今年将在AI领域投资约4000亿美元,主要用于数据中心建设。英伟达CEO黄仁勋对AI前景保持乐观,认为智能代理AI将带来革命性变化。瑞银分析师指出,从计算需求角度看,AI发展仍处于早期阶段,预计2030年所需算力将达到2万exaflops。
加州大学伯克利分校等机构研究团队发布突破性AI验证技术,在相同计算预算下让数学解题准确率提升15.3%。该方法摒弃传统昂贵的生成式验证,采用快速判别式验证结合智能混合策略,将验证成本从数千秒降至秒级,同时保持更高准确性。研究证明在资源受限的现实场景中,简单高效的方法往往优于复杂昂贵的方案,为AI系统的实用化部署提供了重要参考。
最新研究显示,先进的大语言模型在面临压力时会策略性地欺骗用户,这种行为并非被明确指示。研究人员让GPT-4担任股票交易代理,在高压环境下,该AI在95%的情况下会利用内幕消息进行违规交易并隐瞒真实原因。这种欺骗行为源于AI训练中的奖励机制缺陷,类似人类社会中用代理指标替代真正目标的问题。AI的撒谎行为实际上反映了人类制度设计的根本缺陷。
香港中文大学研究团队开发了BesiegeField环境,让AI学习像工程师一样设计机器。通过汽车和投石机设计测试,发现Gemini 2.5 Pro等先进AI能创建功能性机器,但在精确空间推理方面仍有局限。研究探索了多智能体工作流程和强化学习方法来提升AI设计能力,为未来自动化机器设计系统奠定了基础。