英伟达一出手，3D建模师都馋哭了。
现在，制作一个纹路超详尽的大卫3D模型，需要几步？
刚刚靠着AI，市值一度飚破万亿美元的英伟达给出最新答案：
给AI投喂一段一般视频，它就能自动搞定。
不仅雕塑的每一个褶皱都能拿捏住，更为杂乱的修建场景3D重建，相同靠一个视频就能解决：
连深度都能直接估算出来。
这个新AI名叫Neuralangelo，来自英伟达研究院和约翰霍普金斯大学。
论文刚一发表就吸引了全场网友的目光，让人直呼：这是直接创造新世界的节奏。
甚至再一次拉动了显卡销量【狗头】：
现在，相关论文现已当选CVPR 2023。更多技能细节，咱们一起接着往下看~
无需深度数据，直出3D结构
这篇论文选用的架构名叫Neuralangelo，一个听起来有点像著名雕塑家米开朗基罗（Michelangelo）的名字。
详细来说，Neuralangelo中心选用了两个技能。
一个是根据SDF的神经烘托重建。
其中，SDF即符号间隔函数（Signed Distance Function），它的本质便是将3D模型划出一个外表，然后用数值表明每个点间隔模型的实际间隔，负数指点在外表内侧，正数指点在外表外侧：
△图源chriscummingshrg
根据SDF的神经烘托技能，则是选用神经网络（如MLP）对SDF进行编码，来对物体外表进行一个近似复原。
另一个则是多分辨率哈希编码，用于下降核算量。
多分辨率哈希编码是一种特别的编码方法，能用很小的网络下降核算量，一起保证生成的质量不下降。
其中，多分辨率哈希表的value，对应由随机梯度下降优化得到特征向量。
操作流程上，则分为两步。
首先，根据神经烘托重建方法，核算出视频中3D结构的“粗糙外表”。
值得注意的是，这儿选用了数值梯度而不是解析梯度，这样根据SDF生成算法做出来的3D模型外表更加滑润，不会出现凹凸不平的状况：
论文还额外对比了一下解析梯度和数值梯度的状况，从图中来看，数值梯度整体上能取得更滑润的修建效果：
随后，便是逐步减小数值梯度的步长（step size）、选用分辨率更高的哈希表，一步一步提高模型的精密度，复原修建的细节：
最后再对生成的效果进行优化，就得到了复原出来的图画。
包括MLP和哈希编码在内，整个网络选用端到端的方法进行练习。
测验效果怎么？
研究人员选用了DTU和Tanks and Temples两个数据集对Neuralangelo进行测验。
DTU数据集包括128个场景，这篇论文详细选用了其中的15个场景，每个场景包括49~64张由机器人拍摄的RGB图画。
随后，还选用了Tanks and Temples中6个场景的263~1107张RGB相机拍摄图画，真实数据则由LiDAR传感器取得。
Tanks and Temples包括中级和高档两类数据集。
其中，中级数据集包括雕塑、大型车辆和住所规划的修建；高档数据集则包括从内部成像的大型室内场景、以及具有杂乱几何布局和相机轨道的大型室外场景：
详细到生成细节上，Neuralangelo相比NeuS和NeuralWarp等“前SOTA”模型，在DTU数据集上展示出了非常准确的3D细节生成：
而在Tanks and Temples数据集上，Neuralangelo也相同展示出了不错的复原效果：
在F1-Score评估和图画质量PSNR评估中，Neuralangelo基本上全部取得了最好的效果：
华人一作
这篇研究的作者来自英伟达和约翰霍普金斯大学（Johns Hopkins University）。
论文一作李赵硕（Zhaoshuo Li），本科毕业于不列颠哥伦比亚大学，现在是约翰霍普金斯大学的博士生，师从Mathias Unberath和Russell Taylor。
Russell Taylor是医疗机器人领域权威，曾主持研发全球首台骨科手术机器人ROBDOC。
而李赵硕本人，本科专业也是机器人工程，如今算是小小跨界，研究重点在图画重建3D结构上。
Neuralangelo是李赵硕在英伟达实习期间的作业。此前，他还曾在Meta的Reality Labs实习（便是小扎All in 元宇宙的中心部分）。
论文地址：
research.nvidia.com/publication…
参考链接：
[1]twitter.com/bilawalsidh…
[2]shaderfun.com/2018/03/25/…
—完—
