近日,昇思MindSpore支撑华为OCR云服务正式通过独立机构的AI C4审计认证,安全目标100%达成。这标志着昇思MindSpore的安全能力达到了业界领先水平,能够满足业界最高水平的AI云服务审计要求。此前,在德国,华为基于业务用例的试点项目向德国联邦信息安全办公室(BSI) 提供建议,支持其发布了AI云服务合规标准目录(AI C4),这是业界首个面向AI云服务的安全标准。
伴随着人工智能不断发展,在极大提升人们生产生活品质的同时,AI具有的技术特性如通用目的性、算法黑箱性以及数据依赖性等,在社会、企业、个人等维度引发了不小的风险与挑战,仅凭C5标准还不足以完全应对。为此,德国联邦信息安全局制定了一项特定于AI云服务的审计标准AI C4(AI Cloud Service Compliance Criteria Catalogue)——该标准设定了安全的基线水平,可通过独立审计机构对于AI云服务在其生命周期内的安全性进行可靠评估。
OCR服务是利用光学设备对图像进行捕获并完成文字识别的过程,可兼顾达成人力节约与效率提升的双目标。但痛点就在于,当攻击者对待识别的文字做出肉眼不易察觉的修改时,将会导致实施算法的模型无法对该修改做出正确的识别或处理,造成OCR服务对文字的识别准确率下降,但使用人员却很难看到这问题背后的真因。
昇思MindSpore从开源AI框架的角度出发,围绕AI全生命周期,构建出以下重点技术能力:
①模型安全
通过鲁棒性评测、对抗测评、对抗训练、模型加密等,实现模型保护;
②隐私保护
构建了隐私评估、差分隐私训练、联邦学习等技术,保障数据隐私;
③可解释性
通过原创语义级可解释技术、可解释方法工具集等,提高模型的可解释性,增强用户理解度,让用户更信任并有效地使用模型。
本次认证中,华为技术团队使用了昇思MindSpore模型安全评测工具MindSpore Armour对OCR服务进行安全性测评。从中发现,目前大多数OCR服务的算法模型均存在识别自然扰动和防御样本对抗能力差的问题,如文本框检测模型在校验噪声、PGD、PSO(粒子群)等攻击算法下的准确率小于66%。华为技术团队针对这些问题对模型开发进行指导,通过对抗样本检测、数据增强训练等技术,使模型对恶意样本的识别准确率达到 95+%,提高了模型及OCR服务的鲁棒性,达成了AI C4标准对AI云服务安全和鲁棒性的要求。
除助力华为OCR云服务通过AI C4认证外,昇思MindSpore率先出击,携手法荷多方权威评估和认证机构,在2021年完成了AI框架领域的认证标准制定,并于今年4月获得荷兰NSCIB颁发的CC EAL2+认证证书,填补了AI框架领域在安全标准上的空白,成为全球首个获得CC认证的AI框架,实现从0到1的突破。
此外,昇思MindSpore经过云计算开源产业联盟(OSCAR)评估,荣获全国首批《可信开源社区评估体系》认证。
在智能时代的浪潮中,昇思MindSpore致力于实现可信AI的最高要求,从安全技术和安全治理上不断提升AI安全水平。未来,昇思MindSpore仍将持续创新,与行业客户共同应对人工智能领域安全的风险与挑战,为客户提供更安全更可信的应用及服务。
好文章,需要你的鼓励
OpenAI CEO描绘了AI温和变革人类生活的愿景,但现实可能更复杂。AI发展将带来真正收益,但也会造成社会错位。随着AI系统日益影响知识获取和信念形成,共同认知基础面临分裂风险。个性化算法加剧信息茧房,民主对话变得困难。我们需要学会在认知群岛化的新地形中智慧生存,建立基于共同责任而非意识形态纯洁性的社区。
杜克大学等机构研究团队通过三种互补方法分析了大语言模型推理过程,发现存在"思维锚点"现象——某些关键句子对整个推理过程具有决定性影响。研究表明,计划生成和错误检查等高层次句子比具体计算步骤更重要,推理模型还进化出专门的注意力机制来跟踪这些关键节点。该发现为AI可解释性和安全性研究提供了新工具和视角。
传统数据中心基础设施虽然对企业至关重要,但也是预算和房地产的重大负担。模块化数据中心正成为强有力的替代方案,解决企业面临的运营、财务和环境复杂性问题。这种模块化方法在印度日益流行,有助于解决环境问题、满足人工智能的电力需求、降低成本并支持新一代分布式应用。相比传统建设需要数年时间,工厂预制的模块化数据中心基础设施可在数周内部署完成。
法国索邦大学团队开发出智能医学文献管理系统Biomed-Enriched,通过AI自动从PubMed数据库中识别和提取高质量临床案例及教育内容。该系统采用两步注释策略,先用大型AI模型评估40万段落质量,再训练小型模型处理全库1.33亿段落。实验显示该方法仅用三分之一训练数据即可达到传统方法效果,为医学AI发展提供了高效可持续的解决方案。