从这一节开端开端咱们正式开端学习 SD (Stable Diffusion)
榜首节咱们从 Web UI 开端解说
依据运用最多的 文生图 模块来解说
一、WEB UI 页面
假如你运用是
【5 分钟快速上手体会 AI 绘画】 中介绍的 Kaggle 建立的 SD,
那么你进入到 web ui 页面后能够看到下面这个页面
其中:
- 模型挑选: 模型关于 SD 绘图来说十分重要,不同的模型类型、质量会很大程度的决议最终的出图作用(模型相关的课程会在后边细讲)
- Prompt区: 假如你运用过 ChatGPT 你应该知道 Prompt 是什么。说的直白点便是你想让 SD 帮忙生成什么样的图,反向 Prompt 便是你不想让 SD 出世的图里有这些东西。后续课程也会详细的解说怎么更好的编写 Prompt
- 功用栏: 包含了常见的 文生图、图生图、模型获取、模型练习等功用。不同的功用页面也不同,这一节课,咱们先针对最长运用的 文生图 模块页面来解说
- 采样区: 选用什么样的绘画方法算法,以及“画多少笔” 来绘图。必定程度上决议出图的质量
- 调参区: 设置分辨率、每次出图的批次、出图抽象性(和 prompt 关联性的程度)
- 脚本区: 经过装备脚本能够进步效率;比方批量出图、多参数的出图作用比较(课程中会很多运用)
接下来会进一步的介绍每个模块的运用。
二、模型挑选
直白点说,
模型便是“模型练习师”们经过很多的图片进行练习得到的具有某种风格的模型。
咱们运用某个模型后,
后续在出图的整体方向就会更接近这个模型的风格。
你安装好之后默许能够看到两个模型
- anything : 二次元风格模型
- Deliberate:真人风格模型
引荐的网站:
C站:civitai.com/ 需求魔法
www.aigodlike.com/ 假如没有魔法的话能够试试 这个 也不错
huggingface.co/
三、Prompt 区
假如你学习过怎么更好的编写 ChatGPT 的 prompt,
你会发现 Prompt 的编写都会恪守必定的范式,
这样得出来的作用才或许更贴近咱们的想法。
挑选完模型之后,
咱们就能够给予这个模型风格,
告知 SD prompt 画出什么样的图。
比方:直接告知 SD 画一个女孩
虽然能出来一个 女孩,
emmm… 但是这个质量吧,仍是很差的,
实事上呢,
是咱们的 prompt 写的太差劲了 导致的
假如咱们完善一点 (丰富一些 prompt )
会发现作用质量马到成功;而咱们只是加入了一些通用的 prompt 提示语
- 正向的 prompt: 说白便是要高画质、更多的细节
(masterpiece:1,2), best quality, masterpiece,best detail face
- 反向的 prompt: 不要少臂膀断腿,要是一个正常的图
(((NSFW))), (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),
其中的一些细节,
比方 提示语的语法格式、公式、权重、模版和tag大全,咱们会在 prompt 和 tag 课程中细讲。
有个比较有意思的 反向 tag 叫 NSFW(no sutiable for work)
一般状况尽量把这个加入到反向词中,特别是工作场合。不然惊喜或许随时都会呈现(各种18+)…
想想在工作的时分,你信誓旦旦给你的同事来一张漂亮的小姐姐,成果…..
假如你不太信的话,能够直接把 NSFW 放在正向里边试试…
四、采样区
采样区做的事便是,咱们该用什么样的采样方法来画,画多少笔(多详尽)
1.采样方法
因为采样方法的原理比较深奥,涉及到很多的算法,我直接给定论,
我愈加引荐运用下面这三个:
- Euler a
- DDIM
- DPM ++ 2M Karras
咱们能够试试这三个不同采样方法的作用
整体的质量是十分好的,出图速度相对也会快很多
2. 采样步数
采样步数适当所以作画的时分画多少笔。
同样的也是先给定论,主张在 20-40之间,出图作用会更好。并不是越高越好
来看看作用
会发现步数到了60其实也还好,
但一起需求考虑到性价比,步数越高也就意味着耗费的资源会越多,对机器的装备会更高。
所以一般咱们的步数设置到 20-40之间就能够了。
接着上节课,咱们继续解说 Stable Diffusion Web UI 的运用。
这节课咱们会解说 面部修正,高清修正和调参区的内容
五、脸部修正
面部修正的适用在画真人、三次元的场景,特别是在画全身的时分
一般在画全身,因为脸部占比的空间比较小,那么制作出来的作用就会比较差
1.面部修正
SD 支撑直接一键进行脸部修正,但这作用或许不是十分好,也不是最终方案
举个例子:
模型挑选:Realistic Vision V2.0 (怎么下载模型能够参照课程
在没有敞开面部修正的状况,脸部十分不自然(特别是在画全身的时分)
敞开面部修正后:
出图的作用,脸部就自然了十分多
2.高清修正
高清修正的原理适当所以把原分辨率的图扩大进行制作,
制作结束后再做一个还原,然后达到脸部的优化。
这样关于电脑的资源耗费会更大。
其中有几个参数能够来说说:
- 扩大算法: 这块能够直接给定论;咱们假如要改善真人、三次元的脸部直接运用 R-ESRGAN 4x+ ;假如是二次元的运用 R-ESRGAN 4x+ Anime6B
- 高清修正采样次数: 主张直接给0,表明直接运用原有出图的采样步数即可
- 重绘幅度(Denoising): “放飞程度“,在修正的时分和原图的相似关系,越小表明越相似,越大最后的图就和原图没啥关系了
- 扩大倍率: 一般给到2倍即可。太大基本上电脑装备吃不消
咱们能够来看看运用高清修正后优化的姿态:
耗时要远大于不修正的出图时刻,
但是作用也是比一般的面部修正要好。
主要是能够依据自己的需求调理参数。
假如咱们把重绘幅度拉满,
会发现和原图就不太像了,甚至会…. Emmm..
六、调参区
前面讲到的模型决议了出图的大方向
Prompt 决议了最终的图是什么样
调参区 则决议了一次出多少张图,分辨率以及随机性
1.分辨率 高度&宽度
1.1 怎么设置适宜的巨细
当咱们默许进入 SD Web UI 页面后的默许高度和宽度便是 512*512.
这是因为归纳各方面来说这个分辨率的性价比是最高的
- 在 SD 的开始模型 SD 1.5 练习的图片的分辨率大部分都是 512*512,所以在出图的时分,这个分辨率的作用也是最好的
- 依据功能的考量,512*512 能够比较好的满意质量的要求。关于机器的装备的要求也能适中。假如分辨率设置的比较大,那么电脑的显卡或许就会崩掉,导致SD报错
考虑到SD的开始模型几乎都是 512*512 ,
所以咱们想要比较好的作用的时分,
至少应该要有个参数是在 512-768 之前,
这样出图的质量都能够得到保证。
设置的分辨率是:768*320
1.2.妙用画身体
咱们能够来思考一个问题,假如画一个全身的人出来?
榜首反响是不是便是在 prompt 里边提出来对吧?
加上 full body ,咱们能够来看看作用
出来的作用空间感很差,
为了不呈现拉伸的状况,SD 会自动的做一些裁剪。
所以,咱们能够调整分辨率来实现画全身的场景
这个看起来是不是就十分完美了!
当想要画全身的时分能够考虑用这种方法。
当然了,仔细的同学们会发现,手指仍是有问题,咱们后续会讲到怎么优化!
2.批次VS每批数量
这个就很好了解了
(适当于有一个马路,生成批次决议了有几辆车按次序经过,每批数量决议了有几个车道能够并行经过)
- 生成批次:能够了解成点击一次生成会循环生成多少个数量的图
- 每批数量:表明一个批次里一次生成多少张图(一批会有一个概览图)
那咱们挑选哪种方法批量出图呢?
假如你的装备比较高,那么能够运用 每批数量 的方法出图,会更快。
否则就加大批次,每一批生成一个
七、随机种子 DNA
1.随机种子
或许会有同学发现前面咱们出的图几乎都是一个姿态。
只要纤细的不同,这个便是固定了随机种子导致的。
默许随机种子的值是 -1,表明每次出图都会随机一个种子,依据这个种子进行出图。
假如咱们想要固定某个形象,那么把对应种子的值填在这,那么每次出图的作用大致都会一样。
2.差异种子
假如咱们点开更多,会发现还有更多参数
- 随机种子会和差异种子进行交融
- 差异强度:交融后的作用到底更偏向随机种子仍是差异种子;假如是0,那么适当于没有设置差异种子;假如是1那么适当所以没有设置随机种子