来字节跳动实习，还能有机会发 Nature 子刊？
没错，ByteDance Research 与北京大学物理学院陈基课题组合作的一项研讨近期登上了国际顶级刊物Nature Communications。 作者之中，共同一作伟中就是字节跳动的实习生同学，来自北大物理学院陈基课题组，正在攻读凝聚态理论方向的博士。
论文名为《Towards the ground state of molecules via diffusion Monte Carlo on neural networks 》，作者将神经网络与分散蒙特卡洛办法结合，大幅提高神经网络办法在量子化学相关使命上的核算精度、功率以及系统规划，成为最新 SOTA（State Of The Art，当时最高水平）。
可以浅显的了解为，在一个分子中，咱们知道原子核的方位坐标，可是并不知道电子的方位坐标。但运用参数许多的大规划神经网络，输入原子核的方位，就可以核算出电子出现在不同坐标的概率，推算出电子在空间中的散布状况。
有了这样的研讨，进一步就可以猜测分子化学性质，猜测反应产生的速率、催化功率，为分子动力学研讨做根底。有了这些科学知识堆集，咱们才能进一步在生物制药、化工、资料等范畴做出立异。
研讨介绍
作者将根据神经网络的打听波函数运用于固定节点面的分散蒙特卡洛办法 (Diffusion Monte Carlo, or DMC) ，用以准确核算具有不同电子特性的原子以及分子系统。
分散蒙特卡洛办法是量子化学范畴准确核算分子和资料基态能量的常用办法之一。通过与分散蒙特卡洛办法结合，作者显着提高了量子化学中神经网络 SOTA 办法的核算精度与功率。此外作者还提出了一种根据经历线性关系的外推办法，大幅改进了分子结合能核算。总体而言，该核算结构作为求解量子多体问题的高精度办法，为化学分子性质的深入了解供给了更强壮的工具。
一、根据神经网络的量子蒙特卡洛办法
2018年以来，多个研讨小组将神经网络运用于变分蒙特卡洛办法 (Variational Monte Carlo, or VMC) 中[1,2,3]，凭借神经网络强壮的表达能力，得到了更为准确的分子基态能量。本作业于2022年揭露时，根据神经网络的变分蒙特卡洛办法中的 SOTA 作业是 DeepMind 于2019年提出的 FermiNet [2]，可以在规划较小的系统上得到十分准确的成果。但是变分蒙特卡洛办法的精度受限于神经网络的表达能力，在处理较大系统时会有越来越显着的精度问题。此外该类办法在处理较大系统时收敛十分缓慢，对核算资源提出了巨大挑战。
分散蒙特卡洛办法作为量子化学范畴的经典高精度算法之一，具有精度高、可并行性好、合适进行大规划核算等杰出的特性。此外分散蒙特卡洛可以打破神经网络的表达能力限制，运用投影算法逾越变分蒙特卡洛办法的精度。
本作业中，作者将 SOTA 的神经网络 (FermiNet) 作为打听波函数与分散蒙特卡洛办法结合。新的核算办法相比于 FermiNet 显着提高了精度并减少了所需的核算步数。本作业中所规划并完结的分散蒙特卡洛软件具有神经网络友爱、GPU友爱、并行友爱的特点，可以与广泛的神经网络波函数结合，自动提高其精度与功率。
二、核算成果
1.原子
运用神经网络对大型分子系统进行量子蒙特卡洛核算时，由于算力限制，所能运用的神经网络的表达能力也会遭到必定限制。为了模仿这一场景，作者运用了仅仅两层的神经网络来研讨第二、三排的原子。核算成果显现随着系统变大，变分蒙特卡洛办法的精度愈来愈差，而分散蒙特卡洛办法所带来的精度提高也愈来愈显着。
2.分子
作者在一系列分子系统上也验证了根据神经网络的分散蒙特卡洛办法的有用性，包括氮气分子，环丁二烯以及双水分子。在所测验的系统上均调查到了显着的核算精度提高。
3.苯环及双苯环
本作业揭露前，量子化学范畴中根据变分蒙特卡洛的神经网络波函数办法只处理过30电子以内的小型分子。本作业首次将神经网络波函数办法应用于42~84个电子的系统，即苯环与双苯环。核算成果显现，分散蒙特卡洛办法在精度上显着优于变分蒙特卡洛办法，一同可以用少一个数量级的核算步数达到相同或更优的精度。
4.线性关系及外推办法
作者在考察神经网络的不同练习阶段所对应的能量时，在许多系统上均发现变分蒙特卡洛与分散蒙特卡洛的核算成果具有经历性的线性关系（下左图）。运用该线性关系对双苯环的解离能核算进行外推，显着提高了核算精度，得到了吻合于化学实验的成果（下右图）。
三、结语与展望
本作业表明，根据神经网络的分散蒙特卡洛办法在精度与功率上均优于变分蒙特卡洛办法。作者开源的分散蒙特卡洛代码可以与量子化学范畴不断移风易俗的神经网络[4,5]快速结合，完结对研讨社区的赋能。此外分散蒙特卡洛办法也可以与处理实在固体的周期性神经网络[6]、带赝势的神经网络[7]等一系列办法结合，在相应使命上提高核算作用。
参考文献
[1] Han, J., Zhang, L., & Weinan, E. (2019). Solving many-electron Schrdinger equation using deep neural networks. Journal of Computational Physics, 399, 108929.
[2] Pfau, D., Spencer, J. S., Matthews, A. G., & Foulkes, W. M. C. (2020). Ab initio solution of the many-electron Schrdinger equation with deep neural networks. Physical Review Research, 2(3), 033429.
[3] Hermann, J., Schtzle, Z., & No, F. (2020). Deep-neural-network solution of the electronic Schrdinger equation. Nature Chemistry, 12(10), 891-897.
[4] Gerard, L., Scherbela, M., Marquetand, P., & Grohs, P. (2022). Gold-standard solutions to the Schrdinger equation using deep learning: How much physics do we need?. In Advances in Neural Information Processing Systems.
[5] von Glehn, I., Spencer, J. S., & Pfau, D. (2023). A Self-Attention Ansatz for Ab-initio Quantum Chemistry. The Eleventh International Conference on Learning Representations.
[6] Li, X., Li, Z., & Chen, J. (2022). Ab initio calculation of real solids via neural network ansatz. Nature Communications, 13(1), 7895.
[7] Li, X., Fan, C., Ren, W., & Chen, J. (2022). Fermionic neural network with effective core potential. Physical Review Research, 4(1), 013021.
来字节跳动做研讨是怎样的体会？
论文宣布之后，技能范儿采访了伟中同学，来看看他在字节跳动做研讨的体会吧。
技能范儿：
你是怎样参加到这项作业中来的？
伟中：
我校园的导师和 ByteDance Research 一直保持亲近的合作，我大四的时分就每两周跟着导师来字节沟通一次，探讨前沿技能。
字节的气氛和校园科研很像，咱们沟通起来就像往常做学术相同，有许多博士毕业、有丰厚科研经历的同学，各种问题都能找到一个特别精通的人去讨教，收成很大。
本科毕业、博士入学后，我就正式来字节实习了。
技能范儿：
你在这项作业中，都做了哪些贡献？
伟中：
我入职的时分，我的 mentor（也是论文的一作）现已把代码都写好了。
在此根底之上，我加了一些电子移动的新算法，做了一个波函数节点面的可视化，理清了一些 bug。
最重要的是规划、履行并分析了许多核算实验，以证明算法是有用的，用实在的测算来和算法推演成果对比，验证算法的有用性。
技能范儿：
完结这项作业后，
你收成了哪些方面的成长？
伟中：
一方面，在科研过程中，我调研了本范畴内许多的文献，也提高了自己的代码水平；
另一方面，我学会了如何把一个好的科研成果写成论文，如何更好的展现相关成果，提高了自己的学术水平。
技能范儿：
在字节做科研作业是怎样的状态？
伟中：
十分专心，咱们都在一个空间里作业，有一种沉浸式的气氛让我专心在科研项目中。
功率十分高，我 mentor 是斯坦福的数学博士，懂的特别多，我可以随时讨教；当我灵光一现的时分，我可以直接飞书定个会议室、随手找个白板就可以开端评论新的主意。
并且，咱们每周都会有一次文献评论会，会有很专业的同学给咱们解说最新的学术论文并安排评论，这个过程中会有很大的收成。
别的就是字节跳动核算资源丰厚，可以方便地请求许多 GPU 资源，是我之前能用到的算力的许多倍了。
技能范儿：
你们是一个怎样的团队？
伟中：
应该是北京最奢华的量子化学团队之一了吧。
咱们许多团队成员来自中科院、清华、北大，还有许多国际各地量子化学前沿研讨团队的博士生也会来这儿实习一段时间。
尽管团队建立距今只要两年，但现已宣布了两篇 Nature Communications，还有许多其他根底学科研讨的论文成果，都有实习同学的参加。
在这儿，咱们常常可以和国际最前沿的量子化学团队沟通，不只有邮件往来，咱们还会约请他们来开共享会，共享他们在揭露论文里看不到的一些主意。
当然，做学术之外，咱们日常共处也很轻松，会一同去举世影城团建，也常常一同外出聚餐。
