丰色 发自 凹非寺 量子位 | 公众号 QbitAI
谁说生成图画、视频必定要靠AI？
普林斯顿大学新出的神器，可无限生成逼真3D国际，特别强调 “No AI” 。
浅浅感受一下这个效果：
不要以为生成的仅仅一段视频，其实背后是一套完好的3D资产，根据建模软件Blender打造。
此时所有blender用户一起跟我：啊？
如此一来，咱们就能用参数来操控细节：
或者拿到相应的光流图、3D场景光流图、深度图、全景切割图等等，轻松hold住各种CV使命。
最最重要的是，它还免费、开源！
妈妈真的再也不用忧虑我找不到高质量的3D数据投喂AI了……
100%根据随机数学的3D数据生成器
尽管AI开展迅猛，但现在CV领域的许多使命依然缺少高质量的数据，3D尤甚。
一个解决办法是用组成数据。事实证明，在这类数据上训练的模型在零样本的实在图画上也能够体现得很好。
但问题是，现有的大多数免费3D组成数据工具根本局限于单一场景：要么是主动驾驶相关，要么便是那种坐落室内环境中的人工物体。
因此，为了扩展掩盖范围，尤其是实在国际里的天然场景，作者根据Blender打造了这个根据随机数学规矩无限生成各种场景的Infinigen。
Infinigen主要利用Blender的“基元”（或原语），设计了一个程序规矩库，经过编码完结实在天然场景各个目标的生成。
论文主要介绍了Infinigen的程序体系，包含：
- Node Transpiler（节点转换器），能够主动将Blender节点图转化为Python代码，便利非程序员用户运用Infinigen。
如下图所示，它生成的代码更通用，既答应咱们随机化输入参数，也答应随机化图结构。
- Generator Subsystems（生成器子体系），Infinigen的生成器是是一个个根据概率的程序，每个程序专门用于生成一个子目标（比如山脉或鱼类）。每个目标都有一组高档参数（比如山的总高度），用户能够运用Python API来调整这些参数，以完结对数据生成的细粒度操控。
- Material Generators（资料生成器），一共有50个，每个都由一个能指定色彩和反射率的随机着色器和一个生成相应精密几许细节的部分几许生成器组成。
如下图由所示，它能确保非常实在的几许细节。
- Terrain Generators（地势生成器），如下图所示，该生成器能够经过反复挤压生成巨石，运用Blender的内置插件生成小石块。
并帮助Infinigen经过运用FLIP模拟动力学流体，运用Blender的粒子体系模拟天气。
- Plants & Underwater Object Generators（植物和水下物体发生器），包含运用用随机游走等算法对树木成长进行建模，从而构成一个掩盖各种树木、灌木甚至仙人掌的3D国际。
又或者是运用差异化成长、拉普拉斯成长和反应扩散制作各种珊瑚、运用几许节点图生成树叶、花朵、海藻、海带、软体动物和水母。
还有各种子生成器（比如生物生成器）就不逐个介绍了。
除了这些，Infinigen还包含一个图画渲染与Ground Truth提取程序，主要用于生成下图这些类型的图画。
其间关于前者，体系运用了Blender根据天然规律的途径跟踪渲染器Cycles来渲染图画。
作者介绍，尽管运用Blender开发了Infinigen的程序规矩，不过程序生成的很大一部分是在Blender之外完结的。
其他，他们也表明，构建Infinigen是一项极大量的软件工程，光是它代码库的主分支就囊括了40485行代码。
最后，Infinigen在2个Intel Xeon Silver 4114 @ 2.20GHz CPU和1个NVidia GPU进步行了基准测试，生成一对1080p图画的时刻（wall time）为3.5小时。
下表是它与现有组成数据集或生成器的比较。
作者表明，从中能够看出，Infinigen最大的长处便是不需要任何外部参阅资源库就能程序化地生成无限的天然3D数据，其他都不可。
团队介绍
Infinigen将在本周三的CVPR会议进步行Poster展示。
它的作者全部来自普林斯顿大学Vision & Learning Lab。
三位一起一作，其间一位叫Ma Zeyu，普林斯顿大学博士三年级在读，2020年本科毕业于清华大学电子工程专业。
通讯作者为普林斯顿大学计算机科学系副教授邓嘉。
现在，Infinigen的代码现已上线GitHub，短短两天已有850个标星。
论文地址：
arxiv.org/abs/2306.09…
项目主页：
infinigen.org/
GitHub地址：
github.com/princeton-v…
—完—
