咱们好,Generative AI Model的呈现,给游戏开发带来一些新的变革.比方像stable dissfusion能够快速的生成图画,规划人物的原型,背景设定.像DreamFusion和这个Magic3D这种模型,它能够经过文本快速的建模3D对象.还有像chatgpt这种能够编写故事啊能够做模仿人物对话.AItts能够进行语音组成.
所以现在各种技术和大模型的呈现,我觉得赋予了每个人这种创造力,所以说我觉得在未来的这种游戏开发当中,AI整个东西的占比,会发生一种颠覆性的提高吧.在AI的加持下,我觉得未来的这种游戏制造者,他可能会更关注的是游戏本身的规划,而这些繁琐的完成则能够丢给AI,这是一种新的游戏制造方法,在很多厂商中现已呈现了.
呃关于2D图画的模型生成,其实在dissfusion model这种底层算法的革新后,并在大规模数据和这种算力的加持下 其实涌现了大批量图画算法啊,我调查下来是比较优异的通用的模型.比方说包含的是像Dall-E2,Midjourney,Stable Dissfusion啊其实这不同底层的这个算法,其实都是大同小异的啊,都是这种dissfusion model的变种.
最大的差异就在于底层的练习数据这其实驱使了整个模型的输出风格有所差异.能够看到Midjourney 这种全体的风格,其实是比较偏影视及大作的,它的视觉作用是更震慑的,而像Stable Dissfusion的风格它其实更宽泛,而像Dall-E2这种模型,他就更适合做写实和规划类的类型的生成.
Midjourney
Stable Dissfusion
Dall-E2
这边提一下midjouney这家公司,它是在AIGC的时代下的一个比较典型的比方.AIGC必然会取代一大批人。但与此一起呢，它也会给小公司和个人带来从未有过的机会.midjouney它没有自己的软件,没有app,没有融资，运用的是discord的UI,靠11个人自筹资金，在不到一年的时间具有了全球千万用户，年营收上亿美金。
相同能够对比的是discord的公司，discord 相同也是一家比较优异的公司，可是它本质上仍然是一个十分正统的互联网公司。巧的是discord的营收一年也是一亿美金，可是呢，它需求不断的融资，而且它的职工人数现在是600多人。
所以呢,AIGC的时代下，咱们将会看到公司变得越来越小，可是产品的影响力却很大。互联网类型下劳作密集的公司会越来越少，几个人，十几个人的小公司将更多的呈现。
好了,收,回到刚才的论题,相较于不同的这种游戏规划风格,我觉得咱们能够挑选不同的这种模型,来做生成啊.一起咧,也不必局限于比较哪个好就只用哪个,这些都是东西,仍是要以我为主,为我所用.咱们要做运用东西的人,不要做东西人.
比方说咱们要创建一个游戏地图,直接生成一张地图也是没有问题的,可是不能精准的操控毎一块区域的内容,这时分就能够这种组成的方法来完成
- 首先，在 MidJourney和Stable Dissfusion中生成一些很酷的图画,能够经过适宜的prompt来生成俯瞰视角的地图块
2.然后把它们上传到Dall-E2上
3.删除一些图画之间堆叠的部分，并运用相同的提示生成衔接两张图片的细节
4.然后它们就奇特的交融在一起了
- 重复这个过程，不断扩大这张图直到满足停止。
这关于制造生成D&D地图十分有用。在回合制RPG、策略游戏中这种类型的地图仍是比较常见的。
一起呢也有一些国内的模型,比方像百度的文心一言啊,太乙的stable-diffusion,画宇宙啊相较于国外的模型 首要是在中文模型的语境下,做了一些优化,不必再去翻译成英文的prompt,可是对文心一言来说,我仍是喜爱它之前那种横冲直撞的姿势,嗯,这边找到了一些优化前的文生图片,来玩一玩百度的报菜名吧.
/post/721584…
在二次元绘图模型上,NovalAI和nijijourney是比较不错的模型,像NovalAI是,它的练习数据首要来自于这个Danbooru这个网站,里面大部分是来自日本动画、漫画和游戏的图片，总的来说,NovelAI 就是用 Danbooru 的图片在 Stable Diffusion 的基础上做了模型的优化练习（fine-tune）。Nijijourney听这个姓名咱们就可能猜到和Midjourney有关,它是其实是midjourney和Spellbrush协作的一款专门针对二次元的AI生成器.但其实全体调查下来这个NovelAI相比Nijijourney,它全体的视觉是更倾向那种那种传统的漫画,Nijijourney风格比较多样化,画面更精美.
NovalAI
Nijijoruney
这与此一起啊,在在网上其实也有蛮多这些开发者,贡献了各种fine-tune的diffusion model,我这儿供给两个 找模型的网站,一个是这个Civitai,另一个是这个HuggingFace,其实这两个网站,都能够比较快速的得到 你所需风格的模型啊,权重啊,然后能够加载到本地的部署的框架下,就能够运用了.比方去github上找这种开源的AUTOMATIC1111 webui现成的框架,或许懒一点的直接去B站找,弄好的一键包,比方秋叶系列哪些.
civitai.com/
huggingface.co/
当然了也能够经过自己练习模型,来获取到特定角色和特定风格的一些模型,主流计划就是三种吧
一种这个Textual Inversion,它是能够经过学习这种特定的token的编码,来确定学习的对象 可是它整个的这附加网络的大小其实就有几十k,所以很难捕获到对象的细节,他比较适合做一些风格转换啊 简略物体的生成,由于它是不修正整个原始的模型的,所以说它的才能比较有限
Textual Inversion
依据模型引证给定的图画并挑选最匹配的图画,做的迭代越多越好.经过寻找到一个latent空间来描绘一个近似练习图的杂乱概念,并将该空间分配给关键字
模型文件小: ~30KB
一般不能捕获物品细节,拿手风格转换,本地练习时对功能要求不高
Hypeenetwork
经过引进一个新的参数模块,来学习特定的知识,运用时能够刺进该模块来引导出产.
模型文件小: ~87MB
适合学习较大的概念,如艺术风格,简略物体,在较低练习步数就能看到一些成果.本地练习时对功能要求不高,不需求大显存.
DreamBooth
从头练习整个模型,修正一切网络参数
模型文件小: 2-5GB
适合练习人脸,动物和杂乱物体
显卡要求最高
它是整个练习了从头的网络参数,它整个网络都会被fine-tune,所以它的练习价值是最大的 但一起它的作用也是最好的,它是能够比较精确的捕捉到你上传的图片的这些人物特征,可是其实他也是需求一些繁 繁琐的一些调参才会呈现比较惊艳的作用.这个调参,首要也就包含你输入的图画的数量和风格是否一致 然后你prompt编写是否标准,然后还有一些像学习力啊,迭代步数是否合理,所以说这个也是蛮花精力去调节的
如果不挑选这个练习模型,也是有一些方法是能够来操控风格和人物的 1.比方经过prompt,这儿也引荐几个我比较常用的网站lexica和画宇宙,能够经过查找来快速的获取,想要图片的关键字,prompt,尺寸啊,以及说它具体的随机种子是什么
lexica.art/
2.还能够用ChatGPT,Claude这种语言模型来生成成咱们想要的的prompt
比方用这个调教
1.prompts分为两个部分，positive和negative，他们别离操控你期望生成的内容，和不期望生成的内容。
2.promot能够是单词、复合词语和简略的短语，不要呈现杂乱的句式。
3.依据stable difussion prompt datebase，每个prompt具有不同的分类，分为画面质量（例如high quality,low detailed）、画风(例如realism)、构图（例如f/1.4,135mm焦距,vanishing point）、内容(例如black hair,constructures)。每个分类的能够输入多个prompt，他们之间用’,’离隔。
4.你能够界说每个prompt的权重，权重的范围在0~2，支持小数点后4位精度，0代表不重要，1代表一般，2代表十分重要。你能够经过'(prompt:weight)’这种直接指定的方法操控，注意括号是有必要的，不能够省略。例如(black hair:1.5),(best quality:2)
5.一般来说，一份好的prompt的权重分配应该是质量>画风>构图>内容，即给与质量最高的权重，这能够操控图画生成的作用。
6.在生成prompt时，仅需求生成对应的英文，不要用中文解说。 现在，如果你了解了 ，请回复我：“我已了解。”，并生成四个质量有关的prompt作为测验
它是能够直接反应出一个完好的prompt,个生成的句子相比于直接翻译来说,它的细节和精确度是更好的,所以说咱们最终发现,成果仍是AI其实是最懂AI的.
3.此外,AI绘画领域的lora和controlnet也敏捷的发展了起来。lora模型的自练习和controlnet对画面的操控才能，都让文生图变得更加的落地，补全了它进入工作流的最终一块拼图
呃关于整个可控生成的话,其实也是有一些其他计划啊,比方说咱们能够用人偶,来铺排出底图的layout,这儿是引荐比方说像无限人偶这样的软件,它是能够经过,比方说我就铺排一些人物的具体的一些姿势,然后我再经过铺排往后的姿势,在AI中运用image to image的方法,来生成固定的姿势和颜色的人物,这种计划的话我觉得仍是蛮可控的啊
4.关于AI生成内容的身份确定方面,有一些技巧,比方先挑选一个比较大的画布,然后在这个大画布上 ,能够画多个人物,就像叙事岩画一样,其实包含它的正面和侧面图,然后这样的话我在一幅画画面下 ,画几个人物,它的几个人物的特征都会保持一致.
常用的一些AI处理软件吧,最首要就比方说waifu2x这种超分的软件,还有自动抠图的photo Cutter,Erase bg,clipdrop.还有自动上色的palette.fm,一些打光的像Relight,还有一些修正的东西CleanUp,这可能在零零散散的这个后续的后处理上可能都会用上
waifu2x
palette.fm
Relight
在3D模型的生成方面,比方说这个Google开发了这个文生的3D模型的DreamFusion,经过输入文本直接AI生成3D模型，是自带贴图的,可是这个作用吧比较差强人意,可是也能够牵强能够挑出一些,能够用的3D模型
还有一些像是比较有意思的,像这monstermash,它是能够经过直接很简略的像这种简笔画或许一些简略的图片,比方说你是用NovalAI生成的人物,能够快速的胀大成一个3D模型,然后我就增加一些简略的骨骼动作,我就会做一些简略的3D动效,我觉得这仍是蛮有意思的
monstermash.zone/
在代码生成方面呢,我引荐运用的是ChatGPT这种,它其实是能够做代码生成的,我自己实测下来感觉,它的这个代码水平现已超过了大学生了,乃至我觉得,有些当地仍是超过我现在了,对所以说我觉得这个整个ChatGPT它生成代码才能仍是蛮强的.在VSCode中运用ChatGPT的中文插件的体会是很不错的,填一个自己的openai key就好了,优化和解说代码的右键操作也是很方便的.
还一个我比较喜爱用的是github的copilot,其实它这个功能和字面意思也是比较像的,它叫副驾驶员嘛 所以说它首要仍是做代码的辅助生成,我在写完半行代码的时分,帮我补全下一半,节约我打字的时间,生成的内容我体会下来大部分仍是符合我的预期.
代码生成还有一个codex,还没体会过,你们能够去试试水
在游戏策划方面
然后在这文本生成上,我依旧仍是比较首推的ChatGPT/GPT4,他的这个作用上,在整个的这个对话质量上,还有他续写的文章的一些水平上,我觉得都是现在应该是最强的,而且他的这个通用性和广泛性,也是最好的.当然也是有一系列国产的能够用啊,像阿里的通义千问,可是我都没排队到,这儿就不能引荐了.这个打开太多了呢,咱们还没能够专门来一期玩玩.
在游戏语音和音乐方面
mubert AI作曲,AIVA AI,声咖,腾讯智影,MoeGoe组成语音 AI生成音乐的全体的韵律和这个气氛感,我觉得差不多生成的质量现已达到了,这个游戏的根本运用的水平了吧 哎
