还有之前看很多文章说，Reference 能够必定程度上替代 Lora，真的是这样吗？今天也来一探终究。
ControlNet
工欲善其事必先利其器，你需求先装置好 ControlNet，并对它的运用有一个根本的了解。
我专门写了一篇文章介绍 ControlNet 的装置办法和根本功用：Stable Diffusion根底：精准操控之ControlNet ，不熟悉的同学能够先看看。
根本运用
我这儿有一张提前生成好的美女图片，现在就用她来实测 Reference 的操控作用。
下面开端生成：
首先是挑选一个大模型，这儿运用的是和上面生成图片相同的模型：realisticVisionV20；
然后咱们填写一些简略的提示词，以免呈现一些不太便利的图。这儿成心没有运用生成参阅图片时的提示词，由于提示词会影响出图作用，就看不出来 Reference 的复刻作用了。
这是我的一些模型生成参数，咱们能够参阅，没必要完全按照这个来。
最最重要的便是 ControlNet 的设置，如下图所示：
- 上传参阅图片
- 启用 ControlNet
- 勾选完美匹配像素
- 挑选 Reference
注意这个 ControlNet 只需一个预处理器，它能够从参阅图中提取图片的特征信息，用于生成操控。
Reference 还有一个 Style Fidelity 参数，翻译过来便是风格忠实度，越小越挨近运用的大模型的风格，越大越挨近参阅图的风格，但是越大或许呈现图片崩坏的状况，0.5是个平衡值。
然后就能够生图了，看一下作用：
以我个人的眼光，只能说：人物的形状、整体构图是复制出来了，但是气质仍是差那么一点的。
部分制作
很多共享 Reference 技术的文章还说到，Reference 能够起到必定的 Inpaint 作用，那么这儿也来看下作用怎么。这儿的部分重绘是经过提示词产生作用的，下面是几个例子：
裙子变成黑色：1girl, white shirt, ((black skirt))，提示词权重要高一些，不然不容易改变过来。人物姿态和布景都没啥大改变，裙子也变成了黑色，仅仅有一张用力过猛，上衣颜色也变了。
黑发变成金色：1girl, white shirt and dress, ((golden hair))。人物姿态和布景都没啥大改变，头发变成金色的了，人脸也没变成外国人。
把布景换成公园：1girl, white shirt and dress, ((the background is park))。布景更换成功，同时人物姿态和衣服颜色都没啥大改变。
不同模型
上边的参阅图片和生成图片运用的是同一个大模型，测验结果难免会有说服力不够的问题，下图是我运用三个模型做的对比测验，每个模型运用 Reference 生成两张图片。
提示词仍是这个：1girl, white shirt and dress, 其它参数都坚持不变。
能够看到，人物的形状、布景、颜色搭配等都被搬迁到了新生成的图片中，当然这些图片也还会遭到根底模型的很大影响，渲染的笔触、人物的五官都遭到模型的紧密约束。
到这一步，你能说 Reference 是 Lora 吗？它能替代 Lora 吗？我以为它们是有很大的不同的。Reference 仅仅拷贝参阅图，从参阅图提取特征，绘图仍是大模型在处理。Reference 的作用能够称为高仿，在图片处理工具中有一个功用和它很像，那便是拷贝图章。
操控参数
Reference还有一些操控参数，这儿给咱们看下作用。
为了便利演示，我这儿专门生成了一张连环画风格的图片作为参阅图：
然后生成图片的大模型挑选的是二次元模型 AnythingV5。
Style Fidelity
值为 1 的作用：颜色更侧重参阅图。
值为 0 的作用：颜色更侧重模型。
预处理器
这儿有三个预处理器：
- Reference only：生成与参阅图类似的风格和脸部。
- Reference adain：运用 AdaIN 风格搬迁算法，结果或许偏离参阅图；
- Reference adain+attn：归纳 only 和 adain 办法。
Reference only 咱们现已看过了，别离看下另外两个的作用。
Reference adain：确实更挨近模型，颜色和脸型的改变特别明显，愈加侧重 Anything 的二次元风格。
Reference adain+attn：介于模型风格和参阅图风格之间。
用处示例
风格转绘
比方各大短视频平台比较流行的相片转动漫风格，能够在“图生图”中上传一张真实相片，然后运用动漫风格的大模型加上 Reference 进行重绘。下图的作用，提示词只需一个简略的：1girl，重绘强度操控在0.4以下即可。
名画改造
这是利用了 Reference 的部分重绘才能。在“图生图”中运用如下提示词：
女人和猫咪：A woman and a cat
布景改长城：A woman, the background is Badaling Great Wall
注意重绘起伏调整到0.4-0.6。
瘦身成功
一个AI瘦身成功的故事，仍是利用了 Reference 的部分重绘才能。
大模型运用realisticVisionV20_v20，参数参阅：
A strong man lifts up his shirt, eight-pack abs, strong chest muscles, and biceps.
Negative prompt: EasyNegative
Steps: 30, Sampler: DPM++ 2M SDE Karras, CFG scale: 7, Seed: 1734015608, Size: 512×768, Model hash: c0d1994c73, Model: realisticVisionV20_v20, Denoising strength: 0.75, Clip skip: 2, Style Selector Enabled: True, Style Selector Randomize: False, Style Selector Style: base, ControlNet 0: “preprocessor: reference_adain+attn, model: None, weight: 1, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: True, control mode: My prompt is more important, preprocessor params: (-1, 0.5, -1)”, TI hashes: “EasyNegative: c74b4e810b03”, Version: v1.5.1
假如感觉脸不像，能够运用 roop 插件处理下，运用办法参见我另一篇教程：mp.weixin.qq.com/s/jXNNvTZKY…
绘本小故事
故事情节
小女子走在放学回家的路上，步履匆匆；
她在路边发现了一只受伤的狗子，表情痛苦，怎么办呢；
小女子一咬牙，抱着狗子来到了医院；
狗子得到了救治有点开心，女孩花光了钱有点不高兴；
小女子和狗子欢快的走在回家的路上，由于他们成了好朋友。
狗子从此有了一个家。
制造办法：
提前生成一张女孩的图片，然后运用 Reference 加不同的提示词生成不同的图片。
这儿运用的大模型是 toonyou_beta3。
资源下载
本文运用的模型、插件，生成的图片，都现已上传到了我收拾的SD绘画资源中，后续也会继续更新，如有需求，请关/注/公/众\号：萤火遛AI（yinghuo6ai），发消息：SD，即可获取下载地址。
以上便是本文的主要内容了，如有问题，欢迎留言沟通交流。
假如你还没有运用过Stable Diffusion WebUI，能够先看这几篇文章，了解下怎么运用：
手把手教你在本机装置Stable Diffusion秋叶整合包
手把手教你在云环境炼丹（布置Stable Diffusion WebUI）
SDXL 1.0出图作用直逼Midjourney！手把手教你快速体验！
