近日,华为与中国人民大学高瓴人工智能学院孙浩教授团队合作,基于昇思MindSpore AI框架提出了物理编码递归卷积神经网络(Physics-encoded Recurrent Convolutional Neural Network,PeRCNN),该成果已在《Nature》子刊《Nature Machine Intelligence》上发表,相关代码已在开源社区Gitee的MindSpore Flow代码仓开源[1]。
PeRCN相较于物理信息神经网络、ConvLSTM、PDE-NET等方法,模型泛化性和抗噪性明显提升,长期推理精度提升了10倍以上,在航空航天、船舶制造、气象预报等领域拥有广阔的应用前景。
PDE方程在对物理系统的建模中占据着中心地位,但在流行病学、气象科学、流体力学和生物学等等领域中,很多的底层PDE仍未被完全发掘出来。而对于那些已知的PDE方程,比如Navier-Stokes方程,对这些方程进行精确数值计算需要巨大的算力,阻碍了数值仿真在大规模时空系统上的应用。目前,机器学习的进步提供了一种PDE求解和反演的新思路。
PerCNN的模型架构
已有的数据驱动的模型依赖于大数据[2],这在大多数的科学问题上很难满足,同时还存在解释性的问题。物理约束的神经网络(PINNs)[3]虽然做到了利用先验知识去约束模型的训练从而减少对数据的依赖,但是PINN基于损失函数的软约束限制了最终结果的准确性。如何在缺少有效数据的情形下,得到具有高精度、鲁棒性、可解释性和泛化性的结果,仍是学界努力的方向。
因此,华为与孙浩教授团队合作,利用昇腾AI澎湃算力、依托昇思MindSpore AI框架开发了物理编码递归卷积神经网络[4],实现了对非线性PDE的精确逼近。
PeRCNN在反应扩散方程的应用,长期演化上优于ConvLSTM\PINN等方法
PeRCNN神经网络强制编码物理结构,基于结合部分物理先验设计的π-卷积模块,通过特征图之间的元素乘积实现非线性逼近。该物理编码机制保证模型根据我们的先验知识严格服从给定的物理方程。所提出的方法可以应用于有关PDE系统的各种问题,包括数据驱动建模和PDE的发现,并可以保证准确性和泛用性。
PeRCNN在预测和外推的性能上也优于ConvLSTM/ResNet/PDE-Net/DHPM等方法
PeRCNN的另一个独特优势是其可解释性,这源自π-卷积的乘法形式。通过符号计算,可以从学习到的模型中进一步提取底层的基础物理学表达式。这让PeRCNN能够作为一项有效的工具帮助人们从不完善和高噪声的数据中准确可靠地发现潜在的物理规律。
流体力学、气象、海洋等学科中,存在湍流、激波等强非线性现象,传统数值方法的求解需要大量计算资源,当前AI已经在飞行器流场、中期天气预报等问题中展现出极大的潜力,PeRCNN具备高精度、泛化性强和抗噪性强等特点,将有望在这些领域突破传统计算瓶颈,加速工业仿真和设计,成为AI+科学计算领域的新利器!
[1]https://gitee.com/mindspore/mindscience/tree/master/MindFlow/applications/data_mechanism_fusion/PeRCNN
[2]Yann LeCun, Yoshua Bengio, and Geoffrey Hinton. Deep learning. Nature, 521(7553):436–444, 2015.
[3]Maziar Raissi, Paris Perdikaris, and George E Karniadakis. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics, 378:686–707, 2019.
[4]Chengping Rao, Pu Ren, Qi Wang, Oral Buyukozturk, Hao Sun*, Yang Liu*. Encoding physics to learn reaction-diffusion processes. Nature Machine Intelligence, 2023, DOI: 10.1038/s42256-023-00685-7
好文章,需要你的鼓励
Lumen Technologies对美国网络的数据中心和云连接进行重大升级,在16个高连接城市的70多个第三方数据中心提供高达400Gbps以太网和IP服务。该光纤网络支持客户按需开通服务,几分钟内完成带宽配置,最高可扩展至400Gbps且按使用量付费。升级后的网络能够轻松连接数据中心和云接入点,扩展企业应用,并应对AI和数据密集型需求波动。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
RtBrick研究警告,运营商面临AI和流媒体服务带宽需求"压倒性"风险。调查显示87%运营商预期客户将要求更高宽带速度,但81%承认现有架构无法应对下一波AI和流媒体流量。84%反映客户期望已超越网络能力。尽管91%愿意投资分解式网络,95%计划五年内部署,但仅2%正在实施。主要障碍包括领导层缺乏决策支持、运营转型复杂性和专业技能短缺。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。