在计算图形学范畴,原料外观刻画了真实物体与光线之间的杂乱物理交互,通常可表达为随空间方位改变的双向反射散布函数(Spatially-Varying Bidirectional Reflectance Distribution Function,缩写为 SVBRDF)。它是视觉计算中不可或缺的组成部分,在文化遗产、电子商务、电子游戏和视觉特效等范畴中有着广泛的运用。

在曩昔的二十年里,特别是深度学习盛行后,学术界与工业界对高精度、多样化数字原料外观的需求不断添加。但由于技能上的应战,收集大型数据库仍然十分困难,目前揭露可用的原料外观实拍数据库的数量非常有限。

为此,浙江大学计算机辅助规划与图形体系全国重点实验室和杭州相芯科技有限公司的研讨团队联合提出了一种新式集成体系,用于鲁棒、高质量和高效地收集平面各向异性原料外观。运用该体系,研讨团队构建了 OpenSVBRDF 揭露原料数据库

原料界的ImageNet,大规模6维原料实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

图 1:OpenSVBRDF 数据库中的部分原料样例展示。每一行同属一个原料类别。

这是第一个大规模 6 维 SVBRDF 的实测数据库,共有 1,000 个高质量平面样本,空间分辨率为 1,0241,024,等效为超越 10 亿个实测 BRDF,涵盖了包含木材、织物和金属在内的 9 种类别。

数据库主页:opensvbrdf.github.io/

目前,数据库对非商业运用完全免费。只需求提交基本信息在网站上请求账号,经过审核后,即可直接下载包含 GGX 纹路贴图在内的相关数据和代码。相关研讨论文《OpenSVBRDF: A Database of Measured Spatially-Varying Reflectance》已被计算机图形学顶级国际会议 ACM SIGGRAPH ASIA 2023 (Journal Track) 长文接收。

原料界的ImageNet,大规模6维原料实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

论文主页:svbrdf.github.io/

技能应战

直接采样办法在不同的光照和调查视点的组合下对物理原料进行密集测量[Lawrence et al. 2006]。这么做尽管能够获得高质量且鲁棒的收集成果,但其功率很低,需求高昂的时刻和存储本钱。还有一种选择是根据先验常识的重建办法,能够从稀少的采样数据中重建原料。这样尽管进步了功率,但当先验条件不满足时,其质量不尽人意 [Nam et al. 2018]。此外,当时SOTA光路复用技能,尽管达到了较高的收集功率和重建质量,但在处理如拉丝金属和抛光木皮等高度杂乱原料时,算法还不行鲁棒 [Kang et al. 2018]。

原料界的ImageNet,大规模6维原料实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

图 2:现有原料收集研讨的代表作业。从左到右分别是 [Lawrence et al. 2006],[Nam et al. 2018] 以及 [Kang et al. 2018]。其间 [Kang et al. 2018] 为该团队在 2018 年发表于 ACM SIGGRAPH 的早期作业。

硬件

为高效扫描原料外观,研讨团队搭建了一个挨近半立方体的近场光照多路复用设备,其尺寸约为 70cm70cm40cm。样本被放置在一块通明的亚克力板上,能够经过抽屉滑轨快速滑入 / 滑出,来完成高吞吐率。该设备由 2 台机器视觉相机和 16,384 个高亮度 LED 组成,两台相机分别从大约 90 度(主视角)和 45 度(次视角)的视点拍摄样本,LED 散布在设备的 6 个面上。自主研制的高性能控制电路负责对每个 LED 进行独立亮度控制,并在硬件层面完成了光源投射和相机曝光的高精度同步。

原料界的ImageNet,大规模6维原料实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

图 3:收集设备外观及两个视角下的相片。

收集重建

本体系创新性地结合了当时根据网络预测和根据微调两大类盛行办法的长处,既能经过可微分光照图画优化来添加物理收集功率,又能经过微调来进一步进步终究成果质量,从而初次完成了对于平面 SVBRDF 的高鲁棒性、高质量以及高功率的收集重建。

具体来说,为了重建物理样本,研讨者首先经过在均匀照明下匹配密集 SIFT 特征来树立两个相机视角之间的高精度对应关系。对于物理收集,首先将光照图画作为自编码器的一部分进行优化,完成高效收集。该自编码器自动学习怎么根据两个视角的测量值来重建杂乱外观,并将成果表示为中心神经表达。随后,根据主视角相机在 63 个等效线性光源下拍摄的相片,经过制作图像误差对神经表达进行微调,以进步终究成果的质量和鲁棒性。图 3 展示了整个体系的处理流程。更多详细信息请参阅原文论文。

原料界的ImageNet,大规模6维原料实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

图 4:整个体系的收集重建流程。

成果

研讨人员共收集重建了 9 个类别,合计 1,000 个样本的外观,为了方便根据物理的规范制作管线(PBR)直接运用,该研讨还将神经表达拟合到了业界规范的各向异性 GGX BRDF 模型参数。图 5 展示了原料重建成果的分项参数 / 特点。每个样本存储了 193 张原始 HDR 相片(总巨细 15GB)、中心神经表达(290MB),以及 6 张贴图,包含表示 GGX 参数的纹路贴图和通明度贴图(总巨细 55MB)。神经表达和纹路贴图的空间分辨率均为 1,0241,024。

原料界的ImageNet,大规模6维原料实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

图 5:原料重建成果分项特点(包含神经表达、漫反射率、高光反射率、粗糙度等)。

为了证明重建成果的正确性,研讨人员将主视角下的相片(下图第一行)和神经表达制作成果(下图第二行)进行了比较。定量误差(以 SSIM/PSNR 表达)标示在制作图片的底部。由下图成果可见,本体系完成了高质量原料重建(SSIM>=0.97, PSNR>=34db)。

原料界的ImageNet,大规模6维原料实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

图 6:实拍相片和神经表达制作成果在主视角下的对比。

为了进一步证明重建成果的视角域泛化性,研讨人员将点光源照射下、两个视角所拍摄的相片和运用 GGX 拟合参数制作的成果进行了比较,验证了重建成果的跨视角正确性。

原料界的ImageNet,大规模6维原料实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

图 7:实拍相片和各向异性 GGX 拟合参数制作成果在两个视角下的对比。

研讨人员还展示了该数据库在原料生成、原料分类以及原料重建三方面的运用。具体细节请参阅原始论文。

原料界的ImageNet,大规模6维原料实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

图 8:运用 OpenSVBRDF 练习 MaterialGAN 来完成原料生成与插值。

原料界的ImageNet,大规模6维原料实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

图 9:运用 OpenSVBRDF 练习自动光照以进步原料分类精度。

原料界的ImageNet,大规模6维原料实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

图 10:运用 OpenSVBRDF 来进步根据单点采样(左)和光路多路复用(右)的 BRDF 重建质量。

展望

研讨人员将努力扩展示有数据库,添加展示多样性外观的原料样本。未来,他们还方案树立同时包含原料外观和几何形状的大规模高精度实测物体数据库。此外,研讨人员将根据 OpenSVBRDF 规划在原料估计、分类和生成等方向上的揭露 Benchmark,经过客观定量的规范测试,为推动相关研讨的未来发展提供坚实的数据保障。