【新智元导读】16世纪的米开朗基罗重生了！英伟达团队提出Neuralangelo，从2D视频重建3D大规模场景，将5.5米大卫雕像完美复刻。
今天，英伟达再造了16世纪的米开朗基罗「Neuralangelo」。
快看，Neuralangelo「复刻」出3D版的闻名雕像大卫，大理石的细节、纹路绘声绘色。
要知道，收藏在佛罗伦萨美术学院的大卫雕像，仅身高3.96米，加上基座都有5.5米。
它乃至能够重建一栋建筑物的内外部结构，房顶瓦片、玻璃窗格、还有各种细节都一一再现。
这一切，都是「神经朗基罗」（Neuralangelo）的魔法。
来自英伟达和约翰霍普金斯大学的研讨人员提出的新型AI模型，运用神经网络重建3D物体。
最新研讨已被CVPR 2023选用。
论文地址：research.nvidia.com/labs/dir/ne…
特别是，Neuralangelo能够从手机视频，无人机拍摄的视频重建「高保真的大规模场景」。
那岂不是未来，就能轻易地把一座城市、乃至外太空的视频，变成一个沉浸式的国际，再装进游戏去体验。
网友惊呼，英伟达黑了「矩阵」国际！
乃至，还有人称，苹果XR技能，再加上Neuralangelo，就能发明「new worlds」了。
作用演示
英伟达的总部
寒酸的货车
Ignatius的雕像
重建3D场景
以前的AI模型在重建3D场景时，往往难以精确捕捉到重复的纹路形式、均匀的色彩以及激烈的色彩改变。
为此，团队提出了一个将多分辨率3D哈希网格的表征才能和神经外表烘托相结合的全新办法——Neuralangelo。
去年，英伟达研讨人员曾发明了一种新东西3D MoMa，将相片变成3D物体一挥而就。
NeuralAngelo建立在这一概念的基础上，答应导入更大、更详细的空间和目标。而它特别之处在于，能够精确捕捉重复的纹路形式、同质的色彩和激烈的色彩改变。
经过采用「即时神经图形基元」，也便是NVIDIA Instant NeRF技能的中心，Neuralangelo由此能够捕捉更纤细的细节。
团队的办法依赖于2个要害要素：
（1）用于计算高阶导数作为滑润操作的数值梯度；
（2）在控制不同细节等级的哈希网格上进行由粗到细的优化。
即使没有辅佐深度，Neuralangelo也能有效地从多视图图画中康复密布3D外表结构，其保真度明显超过了以往的办法，使得能够从RGB视频捕捉中重建详细的大规模场景。
构建NeuralAngelo
NeuralAngelo模型是在多分辨率哈希编码，以及基于SDF的体积烘托上进行构建。
第一步：运用数值梯度来计算高阶导数
经过运用与哈希网格空间分辨率匹配的步长的数值梯度，能够优化逾越局部单元。与解析梯度比较，数值梯度对SDF起到了滑润操作的作用。
第二步：逐渐细化细节层次
经过逐渐减小数值梯度的步长，并启用更高分辨率的哈希网格，优化的作用能够更好地康复大面积的润滑外表和精密的几何细节。这种学习进程能够逐渐进步细节的层次感。
第三步：优化
NeuralAngelo运用三个优化目标：
RGB组成丢失
：输入图画和组成图画之间的RGB重建丢失。
Eikonal丢失
：对底层SDF进行正则化处理，使其外表法线为单位正则。
曲率丢失
：对底层SDF进行正则化处理，使平均曲率不会恣意变大。
「神经朗基罗」构建好了，那么它又是如何运作的呢？
能够说，Neuralangelo复原了米开朗基罗描写大卫的整个进程：
首要，模型会从2D视频中选择几帧从不同角度拍摄的物体/场景的画面，并由此「看到」其深度、大小和形状。这个进程就像雕塑艺术家一开始会从多个角度构图那样。
然后，模型会创立一个粗糙的3D场景表征，就像艺术家开始凿刻主体的形状。
终究，模型会优化烘托以进步细节的清晰度，就像艺术家经过精心地润饰来模仿织物或人形的纹路。
在DPU基准定性比较中， Neuralangelo发生更精确和更高保真度的外表。
如下是Neuralangelo在DTU数据集中的定量成果，模型获得了很好的重建精度和图画组成质量。
在不同的从粗糙到精密优化方案定性比较中，当运用分析梯度AG和AG+P，物体粗糙外表还有伪影。
当运用数字梯度（NG）时，能够重建一个比较好的粗糙外表，细节也被滑润。
而英伟达的处理方案（NG+P）能够生成润滑的外表，以及精密的细节。
终究的成果是一个能够在虚拟现实运用、数字孪生或机器人开发中运用的3D物体或大规模场景。
英伟达表明，Neuralangelo将杂乱资料的纹路，包括房顶瓦片的粗糙度、大理石的润滑度，从2D视频转化为3D物体的才能，明显逾越了以往的办法。
英伟达研讨部高级主任、论文作者Ming-Yu Liu对这项研讨的含义给出了畅想：
「Neuralangelo提供的3D重建才能将给创作者带来巨大优点，帮助他们在数字国际中重建实在国际。这个东西终究将使开发人员能够将精密的物体——不论是小型雕像，仍是大型建筑——导入视频游戏或工业数字孪生的虚拟环境中。
创意的专业人士能够将这些3D目标导入到设计运用中，进一步修改，以供艺术、电子游戏开发、机器人技能和工业数字孪生等范畴运用。
作者介绍
ZhaoshuoLi（李赵硕）
李赵硕目前仍是约翰霍普金斯大学的计算机科学博士生，导师是Mathias Unberath教授、Russell H Taylor教授。
他对计算机视觉、计算机图形学、深度学习有稠密的兴趣，研讨重点是从图画中重现运动和结构。
另外，他还有非常多的喜好，是摄像师、心理健康促进者、宠物狗的喜好者、仍是冲浪者、跳伞者、滑雪板运动员…
Chen-HsuanLin
Chen-Hsuan Lin是NVIDIA Research的一名研讨科学家，从事计算机视觉、计算机图形学和人工智能方面的工作。
他在卡内基梅隆大学获得了机器人学博士学位，并获得英伟达研讨生奖学金。此前，他还在Facebook AI Research和Adobe Research实习。
Lin对处理3D重建、视图组成和3D内容生产的问题非常感兴趣。其研讨旨在经过从互联网规模的视觉数据中学习，赋予人工智能体系人类水平的3D感知和幻想才能，向真正的3D空间智能跨进。
英伟达科学家JimFan表明，
为了让你了解3D建模的人工智能发展速度：该范畴在3年内从左面（原始的NeRF重建的网格）到右边（英伟达的Neuralangelo）。
将现实传送到高保真模拟中不再是一个梦想。
新的Neuralangelo模型简直是一个野兽，英伟达决议淘汰咱们，R.I.P.拍摄丈量软件。
简直就像数字国际的「米开朗基罗」。
还有网友表明想知道，用它的成本是多少？
咱们能够在工厂运用无人机，然后将视频发送到这个模型，做一个数字孪生，并运用它来优化咱们的流程。
对于这项技能的含义，网友认为这对游戏职业来说影响将是巨大的。
参考资料：
blogs.nvidia.com/blog/2023/0…
