11月9日,在华为全联接大会2022期间,华为正式官宣昇腾AI异构计算架构CANN 6.0版本将在年底正式发布。
从2018年初露锋芒到2022年即将发布的CANN 6.0最新版本,CANN在使能AI开发效率和性能方面持续保持业界领先。作为昇腾生态的锚点,CANN 6.0版本基于发布全新升级的开发体系2.0,在性能、开放性及易用性上持续提升,在开源算法支持、自定义算子开发、动态shape场景支持等方面全方位满足AI开发者的诉求,不断提升生态满足度。
作为昇腾AI基础软硬件平台的核心,CANN搭起了从上层深度学习框架到底层AI硬件的桥梁,全面支持昇思MindSpore、飞桨(PaddlePaddle)、PyTorch、TensorFlow、Caffe、计图(Jittor)等主流AI框架,提供900多种优选模型能够覆盖众多典型场景应用,兼容多种底层硬件设备,提供强大异构计算能力。
为满足开发者多层次AI业务诉求,CANN提供统一的面向应用的编程语言AscendCL(Ascend Computing Language)屏蔽底层处理器差异,支持AI应用开发、模型开发和算子开发,版本向上兼容,让开发者零感知版本升级,畅享AI开发的便捷性。
同时,随着人工智能应用深入更多场景,图片大小、语音长短等动态数据输入的需求不断增加,CANN 6.0版本对动态shape的支持度不断提升,在新版本中,我们将会有400+算子支持动态shape,支持80%的主流算子,极大提高了AI场景生态满足度以匹配客户更多的AI业务场景。
经过数年的积累和优化,CANN高性能算子库为支撑神经网络训练和推理加速而不断添砖加瓦,CANN 6.0版本已经发展到1400+高性能算子,可覆盖主流AI框架的算子加速需求。
算子库不仅支持高性能单算子执行加速,还支持入图技术,在图上通过算子融合减少计算节点和内存拷贝,进一步提升整网执行性能,以Bert网络为例,通过算子深度融合技术可将网络性能提高50%。CANN 6.0新发布的Transformer高性能加速库,针对网络典型结构精简80% kernel数,核心kernel性能提升50%-150%,可匹配昇腾全系列处理器支持NLP/CV类全场景Transformer网络,并且兼具简易的继承开发及上层框架使用等诸多优点。
CANN 6.0版本除了继续保持在典型模型上的性能优势外,还将重点在易用性方面进行提升。伴随算子自定义开发需求的增多,为了更加开放、高效的支持用户自开发,随新版本发布的开发体系2.0,在算子开发方面推出原生支持C/C++的算子开发语言,降低算子开发门槛,同时提供昇腾硬件亲和的数据结构,在保持性能的基础上提升用户自定义算子开发效率,使得算子开发效率得到倍级提升。
CANN 6.0版本将会提供包括11大类在内的70个DSL算子编程接口、新增11类算子调度策略,从而使能更多算子采用简单的DSL方式开发,算子库中DSL算子覆盖度可达80%。在开发易用性方面,开发者仅需完成计算过程表达,无需关心后续的Schedule创建、优化及编译等问题,因为这些操作将通过Auto Schedule自动调度接口快速完成。CANN同时支持算子Debug调试、一键生成工程代码、自动编译部署到算子库、简化算子交付件等功能,基于全流程解决开发者痛点,最大程度降低算子开发门槛。
CANN支持模型的自动化迁移、调测及智能调优,从真正意义上实现模型下载即用。CANN 6.0版本下,主流框架TensorFlow和PyTorch的模型迁移成功率可达80%以上,兼容主流三方库Horovod/Keras/DeepSpeed等。在此基础上还能方便地将那些随算法演进而开发的自定义kernal或function保留到框架侧执行,提升算法适配灵活度。
在模型调优方面,开发者不仅能借助一系列昇腾亲和API提升性能,还能通过智能化调优工具代替复杂的手工优化操作,CANN 6.0版本的平均调优效率将较上一代提升一倍以上。
作为一个全面使能AI开发的软件平台,CANN不但持续在AI模型适配、应用开发和算子开发方面给开发者带来便捷,更是从模型优化、系统分析、模型部署等多维度帮助开发者扫除重重障碍。
模型压缩工具AMCT,能有效降低模型数据量和计算量,节约模型内存和带宽占用,提升计算性能;智能计算调优工具AOE,其傻瓜式的自动寻优能力使得算法工程师从繁重的手工调优工作中解脱出来,并能够将调优进度和调优结果通过可视化方式直观展示;Profiling工具则能自动采集整网性能数据,通过统计视图识别最耗时算子,在CANN 6.0版本中,可自动生成性能优化建议,引导用户快速解决问题;精度比对工具,支持整网或指定层数据dump,CANN 6.0版本中进一步精简dump数据量,更有效的辅助开发者快速定位异常算子。
智能大潮,奔涌向前,CANN持续深入践行初心和使命,以大道至简的态度筑梦AI开发者!随着CANN 6.0版本的全新开放升级,必定带动更多伙伴及开发者基于昇腾AI和CANN的关键技术探索人工智能领域更多可能,点燃智慧创新热情,点亮智能美好生活,共同筑梦远方,共享行业数字未来!
好文章,需要你的鼓励
邻里社交应用Nextdoor推出重新设计版本,新增本地新闻、实时警报和名为"Faves"的AI功能,用于发现本地商户和地点。该应用与3500家本地出版商合作提供新闻内容,通过Samdesk和Weather.com提供天气、交通、停电等实时警报。Faves功能利用15年邻里对话数据训练的大语言模型,为用户提供本地化AI推荐服务,帮助用户找到最佳餐厅、徒步地点等本地信息。
Skywork AI推出的第二代多模态推理模型R1V2,通过创新的混合强化学习方法,成功解决了AI"慢思考"策略在视觉推理中的挑战。该模型在保持强大推理能力的同时有效控制视觉幻觉,在多项权威测试中超越同类开源模型,某些指标甚至媲美商业产品,为开源AI发展树立了新标杆。
英国生物银行完成了世界上最大规模的全身成像项目,收集了10万名志愿者的超过10亿次扫描数据,用于研究人体衰老和疾病过程。该项目历时11年,每次扫描耗时5小时,投资6200万英镑。目前已有8万人的成像数据供全球研究人员使用,剩余数据将于年底前发布。项目已开发出能预测38种常见疾病的AI工具,并在心脏病、痴呆症和癌症诊断方面取得突破。
这项由北京大学等多所高校联合完成的研究,首次对OpenAI GPT-4o的图像生成能力进行了全面评估。研究团队设计了名为GPT-ImgEval的综合测试体系,从文本转图像、图像编辑和知识驱动创作三个维度评估GPT-4o,发现其在所有测试中都显著超越现有方法。研究还通过技术分析推断GPT-4o采用了自回归与扩散相结合的混合架构,并发现其生成图像仍可被现有检测工具有效识别,为AI图像生成领域提供了重要的评估基准和技术洞察。