近日,华为与中国人民大学高瓴人工智能学院孙浩教授团队合作,基于昇思MindSpore AI框架提出了物理编码递归卷积神经网络(Physics-encoded Recurrent Convolutional Neural Network,PeRCNN),该成果已在《Nature》子刊《Nature Machine Intelligence》上发表,相关代码已在开源社区Gitee的MindSpore Flow代码仓开源[1]。
PeRCN相较于物理信息神经网络、ConvLSTM、PDE-NET等方法,模型泛化性和抗噪性明显提升,长期推理精度提升了10倍以上,在航空航天、船舶制造、气象预报等领域拥有广阔的应用前景。
PDE方程在对物理系统的建模中占据着中心地位,但在流行病学、气象科学、流体力学和生物学等等领域中,很多的底层PDE仍未被完全发掘出来。而对于那些已知的PDE方程,比如Navier-Stokes方程,对这些方程进行精确数值计算需要巨大的算力,阻碍了数值仿真在大规模时空系统上的应用。目前,机器学习的进步提供了一种PDE求解和反演的新思路。
PerCNN的模型架构
已有的数据驱动的模型依赖于大数据[2],这在大多数的科学问题上很难满足,同时还存在解释性的问题。物理约束的神经网络(PINNs)[3]虽然做到了利用先验知识去约束模型的训练从而减少对数据的依赖,但是PINN基于损失函数的软约束限制了最终结果的准确性。如何在缺少有效数据的情形下,得到具有高精度、鲁棒性、可解释性和泛化性的结果,仍是学界努力的方向。
因此,华为与孙浩教授团队合作,利用昇腾AI澎湃算力、依托昇思MindSpore AI框架开发了物理编码递归卷积神经网络[4],实现了对非线性PDE的精确逼近。
PeRCNN在反应扩散方程的应用,长期演化上优于ConvLSTM\PINN等方法
PeRCNN神经网络强制编码物理结构,基于结合部分物理先验设计的π-卷积模块,通过特征图之间的元素乘积实现非线性逼近。该物理编码机制保证模型根据我们的先验知识严格服从给定的物理方程。所提出的方法可以应用于有关PDE系统的各种问题,包括数据驱动建模和PDE的发现,并可以保证准确性和泛用性。
PeRCNN在预测和外推的性能上也优于ConvLSTM/ResNet/PDE-Net/DHPM等方法
PeRCNN的另一个独特优势是其可解释性,这源自π-卷积的乘法形式。通过符号计算,可以从学习到的模型中进一步提取底层的基础物理学表达式。这让PeRCNN能够作为一项有效的工具帮助人们从不完善和高噪声的数据中准确可靠地发现潜在的物理规律。
流体力学、气象、海洋等学科中,存在湍流、激波等强非线性现象,传统数值方法的求解需要大量计算资源,当前AI已经在飞行器流场、中期天气预报等问题中展现出极大的潜力,PeRCNN具备高精度、泛化性强和抗噪性强等特点,将有望在这些领域突破传统计算瓶颈,加速工业仿真和设计,成为AI+科学计算领域的新利器!
[1]https://gitee.com/mindspore/mindscience/tree/master/MindFlow/applications/data_mechanism_fusion/PeRCNN
[2]Yann LeCun, Yoshua Bengio, and Geoffrey Hinton. Deep learning. Nature, 521(7553):436–444, 2015.
[3]Maziar Raissi, Paris Perdikaris, and George E Karniadakis. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics, 378:686–707, 2019.
[4]Chengping Rao, Pu Ren, Qi Wang, Oral Buyukozturk, Hao Sun*, Yang Liu*. Encoding physics to learn reaction-diffusion processes. Nature Machine Intelligence, 2023, DOI: 10.1038/s42256-023-00685-7
好文章,需要你的鼓励
英特尔第三季度财报超华尔街预期,净收入达41亿美元。公司通过裁员等成本削减措施及软银、英伟达和美国政府的大额投资实现复苏。第三季度资产负债表增加200亿美元,营收增长至137亿美元。尽管财务表现强劲,但代工业务的未来发展策略仍不明朗,该业务一直表现不佳且面临政府投资条件限制。
美国认知科学研究院团队首次成功将进化策略扩展到数十亿参数的大语言模型微调,在多项测试中全面超越传统强化学习方法。该技术仅需20%的训练样本就能达到同等效果,且表现更稳定,为AI训练开辟了全新路径。
微软发布新版Copilot人工智能助手,支持最多32人同时参与聊天会话的Groups功能,并新增连接器可访问OneDrive、Outlook、Gmail等多项服务。助手记忆功能得到增强,可保存用户信息供未来使用。界面新增名为Mico的AI角色,并提供"真实对话"模式生成更机智回应。医疗研究功能也得到改进,可基于哈佛健康等可靠来源提供答案。同时推出内置于Edge浏览器的Copilot Actions功能,可自动执行退订邮件、预订餐厅等任务。
纽约大学等机构联合开发的ThermalGen系统能够将普通彩色照片智能转换为对应的热成像图片,解决了热成像数据稀缺昂贵的难题。该系统采用创新的流匹配生成模型和风格解耦机制,能适应从卫星到地面的多种拍摄场景,在各类测试中表现优异。研究团队还贡献了三个大规模新数据集,并计划开源全部技术资源,为搜救、建筑检测、自动驾驶等领域提供强有力的技术支撑。