AI技能在跨学科交融立异方面扮演着日益重要的人物，特别是在Al for Science范畴，AI技能的发展为跨学科、跨范畴的交融立异带来了巨大的时机。AI已成为一个要害的研究东西，改变了基础科学的研究范式。依托AI技能开发的科学核算东西，如DeepXDE、SciML等，正在处理传统科学核算过于杂乱且难以理解的问题。未来将会有更多功用强大的科学核算东西呈现，然后推进AI技能成为重要的科研辅助东西，在数学、物理、化学、生物、地理等基础科学以及材料、电子、医疗、制药等运用范畴发挥独特价值[1]{值}^{[1]}值[1]。

图1 AI for Science跨范畴运用

飞桨PaddlePaddle现在是国内市场归纳比例榜首的深度学习平台，且一直在为科学研究者供给优秀的AI技能支撑。在AI for Science方面，飞桨现已发布了针对流体、结构、电磁等学科的东西组件——赛桨PaddleScience V1.0 Beta。一起，为了更好地支撑AI for Science在科研范畴的深入探究，飞桨也在同步拓宽和支撑一系列业内干流科学核算东西。本期咱们将重点介绍飞桨全量支撑的深度学习科学核算东西DeepXDE，从全量算例及模型支撑、高功能的训推环境以及典型工程实践等方面进行阐明。

科学核算东西-DeepXDE

DeepXDE是一款开源且高度模块化的科学核算东西，以深度学习为中心，供给多种数据、物理机理及数理交融的模型，如PINN、DeepONet、MFNN等，一起支撑多种类型微分方程，如常微分方程、偏微分方程的界说及求解，可有效处理杂乱科学核算问题。

根据所供给的深度学习求解模型，DeepXDE具备以下典型的功用特点：

• 高度模块化：DeepXDE供给多种支撑调用、组合的模块，如核算域、边界条件、微分方程、神经网络、练习及猜测等，便利用户组合构建物理系统；

• 多类微分方程：支撑自界说常微分方程、偏微分方程、积分微分方程等来描绘具体问题；

• 可扩展性：支撑用户结合本身需求添加自界说的数值算法、模型或其他功用；

• 可视化：供给一系列丰厚的可视化东西，能够协助用户直观地理解核算成果。

在科学核算范畴，DeepXDE的强大功用与高精度求解才能，使其成为国内外闻名的科学核算东西之一。截止现在，DeepXDE的下载量已超越40万次，并被全球70多所闻名大学、科研机构和企业选用，比方MIT、Stanford、美国西北太平洋国家实验室、通用汽车等。在实践运用中，DeepXDE正在协助用户快速处理杂乱的科学核算问题，为各范畴科学研究的进展作出了重要贡献。

图2 DeepXDE办法与Backends

飞桨全量支撑DeepXDE

全量支撑DeepXDE办法与算例

飞桨彻底支撑DeepXDE东西中供给的PINN、DeepONet等办法，并对东西中供给的各类算例进行了全面的精度对齐。选用PINN办法运行的42个算例涵盖多种方程和初值/边界条件，飞桨支撑状况如下表所示，相比PyTorch现在支撑的算例（31个）多了11个。

表1 飞桨支撑DeepXDE中悉数微分方程算例

飞桨科学核算支撑才能

在支撑科学核算方面，飞桨从神经网络、高阶微分、动转静技能等进行了全面改善，不只能够全面支撑DeepXDE供给的算例，也能够支撑用户自界说的科学核算问题剖析。

齐备的练习网络

飞桨现在供给可掩盖PINN办法以及数据驱动办法的常用网络，如全衔接网络、多尺度傅里叶特征网络及DeepONet、DeepONetCartesianProd等网络。

完好的微分方程系统

飞桨现在可支撑多种类型微分方程的界说，如常微分方程、偏微分方程、积分微分方程、分数阶偏微分方程等。

动态图模式及“一键动转静”方案

飞桨支撑用户根据动态图编码，一起支撑一键动转静，能够运用户运用简单的转换语句一起享有动态图和静态图优势。

完善的科学核算常用高阶算子

为了完成科学核算问题中操控方程的高阶表达，飞桨结构完善了如下算子及功用：

• 供给部分算子的三阶核算，如全衔接网络算子（matmul、add），激活函数（tanh, sin, cos等）；

• 供给标量与tensor的加减乘除幂运算；

• 常用算子如assign、concat、cumsum、expand_v2、reverse、squeeze、unsqueeze、scale、tile、transpose、sign、sum、mean、flip、cast、slice等无限阶核算。

多优化器挑选

飞桨供给如ADAM、L-BFGS等优化器，可掩盖广泛的科学核算运用，且针对DeepXDE中供给的科学核算算例，飞桨供给的L-BFGS 优化器能够达到更高精度的收敛效果。
此外，飞桨对DeepXDE部分算例现已完成了分布式并行，扩展数据集大小后可取得更高的功能进步。

飞桨功能优势

根据DeepXDE所供给算例的默许配置，在表2所示的测验环境中对其间20个算例进行了端到端的功能测验，成果如图3所示。左图表明飞桨（蓝色）与PyTorch（橙色）的算例对齐状况，其间横坐标为东西中的不同算例，纵坐标为算例达到收敛方针所需的练习时刻，右图则直观的表明飞桨相比于PyTorch在不同算例对齐进程中的加快状况。能够看出，在所测验的75%个算例中，飞桨的功能均抢先PyTorch，最高提速达25%，这阐明飞桨能够作为DeepXDE全量算例的Backend，支撑开发者进行科学核算剖析。

*表2 默许测验环境 *

图3 飞桨支撑DeepXDE全量算例功能评估

飞桨DeepXDE开发验证学习文档

针对DeepXDE中供给的算例及相关模型，飞桨完结了大量精度对齐、验证工作，堆集并形成了丰厚的开发和验证经历，能够为用户供给运用辅导，协助用户正确运用DeepXDE东西进行新算例的开发和验证。

用户能够访问DeepXDE官方代码库房体验飞桨对DeepXDE中全量算例及模型的支撑，在完结DeepXDE的安装后，用户仅需设置DDE_BACKEND环境变量，即可履行相应的算例代码（$ DDE_BACKEND=paddle; python pde.py）。

• DeepXDE官方代码库房网址

github.com/lululxvi/de…

别的，在飞桨AI Studio-人工智能学习与实训社区供给的NoteBook环境下，用户仅需界说环境变量DDE_BACKEND=paddle，即可完成代码块的独立测验、履行。

环绕飞桨+DeepXDE算例的开发验证进程，首要包含如下算例验证标准、算例验证流程、模型对齐问题排查流程等工作：

算例验证标准

结合科学核算的正问题与逆问题，能够从单结构测验、多结构测验等途径进行网络参数、方针解、Loss的核算比对，且验证的优先级为：网络参数>方针解>Loss。

算例验证流程

算例验证流程首要分为算例完成和验证两个阶段。下图给出了PINN办法的完好练习进程，其间蓝色部分为每个阶段需求对齐的数据，黄色部分为算例完成的逻辑。关于算例的验证，首要从飞桨结构自测、多结构比照验证进行分阶段完成。

图4 DeepXDE支撑的PINN办法原理

模型对齐问题排查流程

环绕算例及模型对齐进程中呈现的问题，咱们也形成了一些可供用户参考的经历，如能够比照其他结构，进行前向和反向的逐步对齐验证，并逐次打印对齐流程中的中心成果。此外，也需求进行如“随机种子”、“数据类型”、“初始化参数”、“操控合理误差”等设置，然后下降对齐难度。
此部分内容会在下一期的AI for Science专题“飞桨DeepXDE算例及模型精度对齐学习”中进行具体打开阐明，期待广大用户阅览、指正。

事例实践

问题界说

随着通过缩小电路线宽进步集成度的“微细化”速度放缓，三维（3D）堆叠技能将承当半导体持续进步功能的效果。在芯片国产自主的布景下，3D堆叠技能也成为缓解国外技能制裁的重要方式。热应战是3D堆叠技能的首要妨碍之一，杂乱的架构和高度集成的器件增加了芯片功耗和热密度。根据AI的传热模型不只能够评估3D堆叠芯片的散热功能，而且为芯片散热结构设计的自动优化供给了广泛的潜力。本节首要介绍选用飞桨+DeepXDE进行芯片散热剖析的相关事例实践，如图5所示。

图5 3D堆叠芯片
JL Ayala，A Sridhar, Through silicon via-based grid for thermal control in 3D chips

针对图5-(a)所示的简化3D芯片结构，其散热进程可由如下热天然对流操控方程来描绘：

• 质量守恒

• 动量守恒

• 能量守恒

式中，、、分别为、、方向的速度分量（m⋅s−1{s}^{-1}s−1），为压力（），为温度（℃），为时刻（s）；为动力粘度（⋅），为密度（⋅m−3{m}^{-3}m−3），p{}_{p}cp​为比热容（⋅−1{}^{-1}kg−1⋅m−3{m }^{-3}m−3），为导热系数（⋅m−1{m}^{-1}m−1⋅℃−1{℃}^{-1}℃−1），为重力加快度（一般取9.8m⋅s−1{s}^{-1}s−1），为热膨胀系数（1⋅℃−1{℃}^{-1}℃−1），Tref{T}_{ref}Tref​为参考温度（℃）；为体积热源项（⋅m−3{m}^{-3}m−3），与芯片的热功耗有关。
针对实践芯片散热问题，一般假定温度为常温、周围空气停止，只需给定特定的边界条件就能够选用AI模型进行求解。其间，速度场一般选用无滑移边界条件，而温度场的边界条件则可描绘如下：

• Dirichlet条件

• Neumann条件

• Robin条件

事例建设及剖析

根据DeepXDE的PINN办法，构建相应的芯片散热事例，如图6所示。其原理简要介绍如下，首先，针对待求解的时刻（t）和实践的空间（x, y, z），选用合适的采样办法取得模型练习所需的时空离散点，这些点数据将作为AI网络模型的输入，并输出相应的流场和温度信息（u, v, w, p, T）；然后，核算束缚方程所需的流场和温度成果的时空导数，并取得对应于束缚方程和初边值条件的Loss。

图6 芯片散热剖析原理及首要构建步骤 针对5层芯片结构的散热事例，构建相应热天然对流操控方程的无量纲化方式，以进步模型练习的稳定性和精度。结合给定的核算域，选用NVIDIA V100-16G单卡练习约4小时，猜测的无量纲时刻为1s时的成果如图7所示。3D全体和2D中心截面的温度分布均表明，芯片内部的温度远高于周围空气的温度。这阐明单纯靠空气热天然对流来将存在明显的热限制，从材料和散热结构等方面进步散热功能十分必要，此部分工作成果会在之后的专题中向大家呈现。

图7 3D芯片散热事例猜测成果

总结

飞桨PaddlePaddle现在现已全面支撑科学核算东西DeepXDE，对DeepXDE中供给的模型、算例等进行了多结构精度对齐以及功能调优。现在飞桨供给了齐备的科学核算算子以及相关的网络模型、优化器、分布式并行等才能，可为广大用户运用飞桨+DeepXDE处理科学问题供给更多的可能。下一期咱们会对飞桨+DeepXDE算例及模型精度对齐的具体完成进程进行经历介绍，敬请期待。

引用

[1] 百度研究院2023科技趋势发布：AI向实而生，智能技能构筑科技变革主线
baijiahao.baidu.com/s?id=175418…

[2] DeepXDE介绍文档
deepxde.readthedocs.io/en/latest/

[3] 飞桨动态图转静态图完成流程
www.paddlepaddle.org.cn/documentati…

[4] 飞桨L-BFGS优化器界说
www.paddlepaddle.org.cn/documentati…

拓宽阅览

[1] 【PaddlePaddle Hackathon 第四期】—飞桨科学核算 PaddleScience
github.com/PaddlePaddl…

[2] 飞桨AI for Science流体力学公开课榜首期
aistudio.baidu.com/aistudio/co…

[3] AI+Science系列（三）：赛桨PaddleScience底层中心结构技能立异详解

[4] 飞桨科学核算实训示例
aistudio.baidu.com/aistudio/pr…

相关地址

[1] 飞桨AI for Science共创方案
www.paddlepaddle.org.cn/science

[2] 飞桨PPISG-Science小组
www.paddlepaddle.org.cn/specialgrou…