近日,昇思MindSpore支撑华为OCR云服务正式通过独立机构的AI C4审计认证,安全目标100%达成。这标志着昇思MindSpore的安全能力达到了业界领先水平,能够满足业界最高水平的AI云服务审计要求。此前,在德国,华为基于业务用例的试点项目向德国联邦信息安全办公室(BSI) 提供建议,支持其发布了AI云服务合规标准目录(AI C4),这是业界首个面向AI云服务的安全标准。
伴随着人工智能不断发展,在极大提升人们生产生活品质的同时,AI具有的技术特性如通用目的性、算法黑箱性以及数据依赖性等,在社会、企业、个人等维度引发了不小的风险与挑战,仅凭C5标准还不足以完全应对。为此,德国联邦信息安全局制定了一项特定于AI云服务的审计标准AI C4(AI Cloud Service Compliance Criteria Catalogue)——该标准设定了安全的基线水平,可通过独立审计机构对于AI云服务在其生命周期内的安全性进行可靠评估。
OCR服务是利用光学设备对图像进行捕获并完成文字识别的过程,可兼顾达成人力节约与效率提升的双目标。但痛点就在于,当攻击者对待识别的文字做出肉眼不易察觉的修改时,将会导致实施算法的模型无法对该修改做出正确的识别或处理,造成OCR服务对文字的识别准确率下降,但使用人员却很难看到这问题背后的真因。
昇思MindSpore从开源AI框架的角度出发,围绕AI全生命周期,构建出以下重点技术能力:
①模型安全
通过鲁棒性评测、对抗测评、对抗训练、模型加密等,实现模型保护;
②隐私保护
构建了隐私评估、差分隐私训练、联邦学习等技术,保障数据隐私;
③可解释性
通过原创语义级可解释技术、可解释方法工具集等,提高模型的可解释性,增强用户理解度,让用户更信任并有效地使用模型。
本次认证中,华为技术团队使用了昇思MindSpore模型安全评测工具MindSpore Armour对OCR服务进行安全性测评。从中发现,目前大多数OCR服务的算法模型均存在识别自然扰动和防御样本对抗能力差的问题,如文本框检测模型在校验噪声、PGD、PSO(粒子群)等攻击算法下的准确率小于66%。华为技术团队针对这些问题对模型开发进行指导,通过对抗样本检测、数据增强训练等技术,使模型对恶意样本的识别准确率达到 95+%,提高了模型及OCR服务的鲁棒性,达成了AI C4标准对AI云服务安全和鲁棒性的要求。
除助力华为OCR云服务通过AI C4认证外,昇思MindSpore率先出击,携手法荷多方权威评估和认证机构,在2021年完成了AI框架领域的认证标准制定,并于今年4月获得荷兰NSCIB颁发的CC EAL2+认证证书,填补了AI框架领域在安全标准上的空白,成为全球首个获得CC认证的AI框架,实现从0到1的突破。
此外,昇思MindSpore经过云计算开源产业联盟(OSCAR)评估,荣获全国首批《可信开源社区评估体系》认证。
在智能时代的浪潮中,昇思MindSpore致力于实现可信AI的最高要求,从安全技术和安全治理上不断提升AI安全水平。未来,昇思MindSpore仍将持续创新,与行业客户共同应对人工智能领域安全的风险与挑战,为客户提供更安全更可信的应用及服务。
好文章,需要你的鼓励
麻省理工学院研究团队发现大语言模型"幻觉"现象的新根源:注意力机制存在固有缺陷。研究通过理论分析和实验证明,即使在理想条件下,注意力机制在处理多步推理任务时也会出现系统性错误。这一发现挑战了仅通过扩大模型规模就能解决所有问题的观点,为未来AI架构发展指明新方向,提醒用户在复杂推理任务中谨慎使用AI工具。
继苹果和其他厂商之后,Google正在加大力度推广其在智能手机上的人工智能功能。该公司试图通过展示AI在移动设备上的实用性和创新性来吸引消费者关注,希望说服用户相信手机AI功能的价值。Google面临的挑战是如何让消费者真正体验到AI带来的便利,并将这些技术优势转化为市场竞争力。
中科院自动化所等机构联合发布MM-RLHF研究,构建了史上最大的多模态AI对齐数据集,包含12万个精细人工标注样本。研究提出批评式奖励模型和动态奖励缩放算法,显著提升多模态AI的安全性和对话能力,为构建真正符合人类价值观的AI系统提供了突破性解决方案。