写在前面的话
近期在小红书发现了许多极其可爱、漂亮的萌宠图片，对这些美好的图像深深着迷
于是想着看看运用AI绘画StableDiffusion以下简称（SD）做出来。
以下是详细实操的全进程，包含一切用的材料现已打包到网盘。
最终测验的最终作用如下：
更多图片请查看网盘：
「萌宠图片及关键词」
链接：pan.quark.cn/s/ba9c3e8ef…
假如你想了解更多的StableDiffusion的知识，请参阅：
AI绘画：Stable Diffusion 终极炼丹宝典：从入门到通晓
原文链接阅览更舒畅：AI绘画：StableDiffusion炼丹Lora攻略-实战萌宠图片生成
一：预备
需求的材料都打包在网盘里边，需求的自行下载。
我用夸克网盘共享了「StableDiffusion炼丹材料」
网盘链接：pan.quark.cn/s/3c8cc96f3…
二、Lora作用
LORA能够让咱们轻松画出特定的人物，物品，特别的笔触和特别的画风或风格，归于一种特别练习的子集。
1.AI模特
炼出一个自己的模特，让这个模特穿上自己的商品
2.炼衣服Lora
增加一个衣服的Lora，就能够让人物穿上特定的衣服
3.改变画风/画面背景
经过增加Lora改变相片的画风，这个画风能够自己去练习
Lora模型究竟是什么？
专业的解说
LoRA的全称是LoRA: Low-Rank Adaptation of Large Language Models，能够理解为stable diffusion（SD)模型的一种插件，和hyper-network，controlNet相同，都是在不修正SD模型的前提下，运用少数数据练习出一种画风/IP/人物，实现定制化需求，所需的练习资源比练习SD模要小许多，非常适合社区运用者和个人开发者。LoRA开端应用于NLP范畴，用于微调GPT-3等模型（也便是ChatGPT的前生）。由于GPT参数量超越千亿，练习成本太高，因而LoRA采用了一个方法，仅练习低秩矩阵（low rank matrics），运用时将LoRA模型的参数注入（inject）SD模型，然后改变SD模型的生成风格，或许为SD模型增加新的人物/IP。
浅显的解说
Lora能够复刻人物和物品的特征，固定人物动作，改变相片画风
并且Lora只需求少数的数据就能够练习出来，比练习大模型要简略许多
所以咱们能够经过练习自己的Lora，做出定制的图片
但不得不说的是，目前的Lora还不能做到100%相同，尤其是细节方面
但是信任随着之后的技术发展，万物皆可Lora的时代是不远的
三、怎么炼制自己的Lora模型？
炼制Lora的方法有许多种
有用脚本练习的，也有在网站界面上练习的，最近还有许多朋友做出来了练习Lora的整合包
创立Lora模型的方法有许多，包含经过脚本进行练习，经过网页界面操作，甚至有一些专业人士最近供给了Lora练习的一键式整合包。虽然这些方法在表面上看起来有所不同，但其练习逻辑其实都是相同的。
因而，咱们能够挑选运用整合包。整合包的长处在于，它将炼丹所需的一切工具和步骤集成在一款软件中，为咱们供给了一种更为快捷且有效的练习方法。
整合包便是把炼丹所需求的一切工具都整合到一个软件里
炼丹分为以下几步：
1.下载整合包
2.预备工作
3.开端练习
4 .测验Lora
5.优化Lora
四、炼丹前的预备（下载整合包）
在炼Lora之前，需求咱们先承认一下自己的电脑装备：
1.电脑装备需求N卡，并且6G显存以上
2.A卡和Mac系统，或许电脑装备不太行的小伙伴建议用云平台
我这儿用的是B站up主朱尼酱的整合包：
我用夸克网盘共享了「StableDiffusion炼丹材料」
网盘链接：pan.quark.cn/s/3c8cc96f3…
下载好了之后把它解压到D盘或许E盘，不要放在C盘！！
秋叶的整合包我也试过炼Lora，两个比照下来，我觉得朱尼酱的整合包会更适合小白
打开解压之后的文件夹，在“cfurnace_ui”文件夹里边找到“赛博丹炉”的应用程序
能够创立一个桌面快捷方法，这样就不必每次都要打开文件
看到这个页面就装置好了，点击“敞开炼丹炉”就能够开端炼Lora啦！
五、挑选适宜的大模型
跟画图相同，炼Lora之前也要先选一个大模型，确定Lora的画风
这儿练习的萌宠，我挑选的是“cheeseDaddys_35”大模型
真人模型=》选用“chilloutmix”的大模型
二次元=》选用“anything”的大模型
假如你的Stable Diffusion里边没有模型，那就要先去下载模型噢！
网盘里边现已给咱们放了这两个大模型
我用夸克网盘共享了「2.大模型checkpoint」
链接：pan.quark.cn/s/9767ac274…
再往下就能够挑选一个咱们要练习的Lora的类型
挑选之后就会帮咱们挑选默许的参数
练习真人Lora就选“人物”
练习二次元就选“二次元”
假如想炼绘画的风格能够选画风
除此之外还能够自定义去炼平面设计图或许建筑之类的
我这儿挑选的是产品
六、高质量材料的制作
以上预备工作及参数设置好了后，就能够开端上传自己的材料开端练习了。
这些材料便是咱们要喂给AI学习的材料
材料的质量非常重要！！会直接影响最终出来的Lora的质量
咱们的材料需求满足几个点：
1.上传20~30张相片
2.材料要高清！！！
3.多角度相片
这儿我就以炼萌宠Lora为例子，上传萌宠的相片
点击“删去悉数”把默许的材料删掉
然后点击“上传材料”，上传自己的相片
一般情况下，下面的参数默许就能够了
需求调整参数的话，最好是需求了解参数的意义，假如乱调的话，或许会练习失利。
不要挑选太高的分辨率，容易爆显存
另外，假如练习真人Lora，能够勾选最右边的“脸部加强练习”
勾选了之后就会再多裁剪出来一组只有脸的相片，这样AI能学到更多的脸部细节
七、耐性等候的练习进程
看到这个页面便是模型正在练习中
到这一步只需耐性等候就能够了，没什么需求操作的
咱们能够看一下下面的参数是什么意思
“Steps”便是练习步数
每练习50步右下角就会出现一张图片
那样就能够实时看到Lora的姿态
这个白头发和红裙子是后台加上去的关键词
能够测验Lora的泛化性
泛化性便是看这个Lora能不能自在的去替换相片里的东西，比方发型、发色、服装之类的
Loss能够用来参阅模型的好坏
一个好的模型Loss值在0.07~0.09之间
注意：详细好不好还是要在Stable Diffusion实践测验才知道
等练习完了之后，点击“模型”
就能够看到生成出来模型
依照默许参数练习会出来20个模型，但不是说最终一个模型便是最好的
有或许炼到第十六第是十七个模型就现已够了，再往后的模型就现已练习过度了
所以这些模型还要实践在SD测验一下，才知道哪个是最好的
八、怎么测验Lora的好坏
模型生成出来之后就能够到SD里边生成图片
在SD里边能够生成这么一张大图，能够直接看到一切模型在不同权重下出来的作用
比较一下哪个模型更好，就只保存那个模型就能够了
接下来咱们就看看怎么生成这张大图
首要把新生成的10个模型仿制到SD的models文件夹，放到Lora文件夹里边
注意：最好新建一个文件夹，比方cuteDog
然后把没有序号编码的那个Lora重命名
没有序号编码的Lora便是最终生成出来的一个模型，这儿只是为了方便进行测验，一致一下一切模型的名称
保存好模型之后就能够打开SD进行测验了
首要先选一个大模型
你用哪一个大模型来练习lora就选哪个大模型
然后输入正面关键词和负面关键词
正面关键词能够输入一些质量词，比方最高质量、高清画质、大师杰作等等
负面关键词直接仿制咱们以前用过的就能够
接下来便是选用咱们刚刚炼好的Lora
随意选一个都能够
重点来了：把000017换成NUM，1换成STRENGTH
<lora:cute dog_20230708214731-000017:1>
例如：
<lora:cute dog_20230708214731-NUM:STRENGTH>
迭代步数，采样方法这些参数咱们能够依照自己的习惯去修正
然后滑到最下面找到“脚本”
在脚本里边挑选 “X/Y/Z图表”
X轴、Y轴类型都挑选 “提示词搜索/替换”
X轴的值输入：NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010
这儿的序号对应的便是咱们10个Lora的编号
Y轴值输入：STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1
这儿的序号代表的是Lora的权重
悉数参数设置好了之后就能够点击“生成”
生成出来便是这么一张大图，能够看到这几个Lora模型在不同强度下的表现
九、怎么优化Lora
实践上，炼丹是一件比较形而上学的事
有的人或许一次性就能炼出自己满足的Lora
但有的人或许要炼好几次才出来一个好的Lora
这时候咱们能够经过调整练习的参数再重新炼一个
前提是 保证咱们的喂给AI的材料是高质量的！
否则不论怎么修正参数，出来的Lora都是不合格的
这儿咱们就把炼Lora会遇到的问题分成两种情况
1.Lora出来的相片不像自己：AI没学好
2.Lora过拟合，甚至出来的相片崩了：AI学过头了
过拟合便是不论输入什么关键词，出来的相片都是你喂给AI的相片
没方法自在操控人物的服装、发型、发色等
点击“参数调优”咱们就能够自行设置参数
假如生成的相片不像自己，那就能够恰当增加Repeat（学习步数）值
假如相片过拟合了，那就减少Repeat值
其他参数都能够不必调，由于默许的参数就差不多是最优值了
十、资源下载汇总
Lora炼丹网盘资源汇总： pan.quark.cn/s/3c8cc96f3…
StableDiffusion资源整合装置包：pan.quark.cn/s/2750beda9…
StableDiffusion关键词分类查询：StableDiffusion的关键词分类查询
ControlNet材料汇总：pan.quark.cn/s/47bc8c798…
AI材料网盘汇总（不定期更新）：AI专区网盘资源汇总
AIGC从入门到通晓教程汇总：AIGC从入门到通晓教程汇总
原文链接阅览更舒畅：AI绘画：StableDiffusion炼丹Lora攻略-实战萌宠图片生成
