欢迎运用 AI 进行游戏开发！ 在本系列中，咱们将运用 AI 东西在 5 天内创立一个功用齐备的农场游戏。到本系列结束时，您将了解到怎么将多种 AI 东西整合到游戏开发流程中。本文将向您展示怎么将 AI 东西用于:
- 美术风格
- 游戏规划
- 3D 资料
- 2D 资料
- 剧情
留意： 本教程面向了解 Unity 开发和 C# 语言的读者。假如您不了解这些技能，请先检查 Unity for Beginners 系列后再继续阅览。
第 3 天：3D 资料
本教程系列的 第 2 部分 介绍了 运用 AI 进行游戏规划。更具体地说，咱们发问 ChatGPT 进行头脑风暴，从而规划农场游戏所需的功用组件。
在这一部分中，咱们将讨论怎么运用 AI 制造 3D 资料。先说定论：不可行。因为 现阶段 的文本-3D 技能水平还没有开展到可用于游戏开发的程度。不过 AI 范畴在敏捷革新，或许很快就有突破。如想了解 文本-3D 现阶段开展，现阶段不可行的原因，以及 文本-3D 的未来开展，请继续往下阅览。
文本-3D 现阶段开展
咱们在 第 1 部分 中介绍了运用 Stable Diffusion 协助确立游戏美术风格，这类 文本-图画 的东西在游戏开发流程中表现非常震撼。一起游戏开发中也有 3D 建模需求，那么从文本生成 3D 模型的 文本-3D 东西表现怎么？下面总结了此范畴的近期开展：
- CLIPMatrix 和 CLIP-Mesh-SMPLX 能够直接生成 3D 纹路网格。
- DreamFusion 运用 diffusion 技能从 2D 图画生成 3D 模型。
- CLIP-Forge 能够从文本生成体素（体积像素，3 维空间最小分割单元，类似图片的像素）3D 模型。
- CLIP-NeRF 能够输入文本或许图画来驱动 NeRF 生成新的 3D 模型。
- Point-E 和 Pulsar+CLIP 能够用文本生成 3D 点云。
- Dream Textures 运用了 文本-图画 技能，能够在 Blender（三维图形图画软件）中自动对场景纹路贴图。
注：3D 目标有多种表征形式：显式（explicit representation）包括网格、体素、点云等，能够进行贴图、烘托、组成虚拟视角等；隐式（implicit representation）通常运用函数映射来描述，NeRF 便是一种能够组成虚拟视角的隐式表征。
除 CLIPMatrix 和 CLIP-Mesh-SMPLX 之外，上述大部分方法或根据 视图组成 (view synthesis) 生成 3D 目标，或生成特定主体的新视角，这便是 NeRF（Neural Radiance Fields，神经辐射场） 背面的思维。NeRF 运用神经网络来做视图组成，这与传统 3D 烘托方法（网格、UV 映射、拍摄丈量等）有较大差异。
那么，这些技能为游戏开发者带来了多少或许性? 我以为 现阶段 是 零，实际上它还没有开展到可用于游戏开发的程度。下面我会说明一下原因。
现阶段不可行的原因
留意： 此部分面向了解传统 3D 烘托技能（如 网格，UV映射，和 拍摄丈量）的读者。
网格是大部分 3D 国际的运行柱石。比如 NeRFs 的视图组成技能尽管作用非常冷艳，但现阶段却难以兼容网格。不过 NeRFs 转化为网格 方向的作业已经在进行中，这部分的作业与 拍摄丈量 有些类似，拍摄丈量是对现实国际特定目标收集多张图画并组合起来，从而制造网格化的 3D 模型资料。
已然根据神经网络的 文本-NeRF-网格和拍摄丈量的采图-组合-网格两者的 3D 化流程有类似之处，同样他们也具有类似的局限性：生成的 3D 网格资料不能直接在游戏中运用，而需求大量的专业知识和额定作业才干运用。因而我以为，NeRF-网格或许是一个有用的东西，但现阶段并未显示出 文本-3D 的革新潜力。
还拿拍摄丈量类比，目前 NeRF-网格 最适合的场景同样是创立超高保真模型资料，但实际上这需求大量的人工后处理作业，因而这项技能用在 5 天创立一个农场游戏系列中没有太大含义。为确保游戏开发顺利进行，关于需求有差异性的多种农作物 3D 模型，我决定仅运用色彩不同的立方体加以区别。
不过 AI 范畴的革新非常敏捷，或许很快就会呈现可行的解决计划。鄙人文中，我将讨论文本-3D 的一些开展方向。
文本-3D 的未来开展
尽管文本-3D 范畴最近取得了长足进步，但与现阶段文本-2D 的影响力相比，仍有明显的差距。关于怎么缩小这个差距，我这里估测两个或许的方向：
- 改善 NeRF-网格和网格生成（将接连的几何空间细分为离散的网格拓扑单元）技能。如上文说到的，现阶段 NeRF 生成的 3D 模型需求大量额定的作业才干作为游戏资料运用，尽管这种方法在创立高保真模型资料时非常有用，但它是以大量时刻开支为代价的。假如您跟我相同运用 low-poly（低多边形）美术风格来开发游戏，那么关于从零开始制造 3D 资料，您或许会偏好更低耗时的计划。
- 更新烘托技能：答应 NeRF 直接在引擎中烘托。尽管没有官方公告，不过从 Nvidia Omniverse 和 Google DreamFusion3d 估测，有许多开发者正在为此努力。
时刻会给咱们答案。假如您想跟上最新开展，能够在 Twitter 上重视作者检查相关动态。假如我错过了哪些新开展，也能够随时与我联络！
敬请期待第 4 部分的共享，我将为您介绍怎么 运用 AI 制造 2D 资料。
称谢
感谢 Poli @multimodalart 提供的最新开源文本-3D 信息。
英文原文: huggingface.co/blog/ml-for…
原文作者: Dylan Ebert, Hugging Face 工程师
中文译者: SuSung-boy (苏桑)，经常倒腾图画的工业视觉算法工程师。
