前面的课程咱们学会了经过 文生图 相关的一切内容

从这一节开始咱们进入一个新篇章,图生图

在 文生图 形式下虽然可以依据 prompt 出作用很好的图,但也存在一些问题,比方

  • 咱们想要微调一些细节,就只能经过修改 prompt 来实现,但是这样的作用并不好
  • 文生图的出图结果太随机
  • 没办法依据咱们自己的图进行二次加工

这些问题文生图就搞不定了,下面几节内容咱们经过深化学习 图生图 就可以很好的处理上述问题

本节课模特

Stable Diffusion 解决文生图的局限性:图生图的崭新篇章

参数如下:

模型:
deliberate
正向Prompt:
(realistic photo shot in a dark studio), ( full body shot), (20 year old girl sexy poses in the gym), sports leggings, sports bra, beautiful detailed face, supermodel, (skinny and fit body:1.1), small breasts, pale skin, detailed long blond hair, heavy makeup, (realistic glistening skin), masterpiece, best quality, high resolution scan, (photo by Canon 5d, 50mm ZEISS lens), hourglass proportions, (8k uhd, hdr, dof), (professionally color graded), sharp focus, rim lighting, dimly lit, two tone lighting, dark,((wear jacket))
反向 prompt:
Asian, (bad_prompt_version2:0.8), (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), (sepia), (deformed iris, deformed pupils, semi-realistic, 3d, render, cg, painting, drawing, cartoon, anime, comic:0.6), text, print, signature, logo, watermark, bad_quality, long body, long neck, NG_DeepNegative_V1_75T, easynegative,
seed 种子:
1345616590
步数:20

一 图生图简介

图生图和文生图的原理简直一样,文生图直接依据 prompt 描绘来生成图片。而图生图则是在这个基础上增加图片的信息,图片+prompt 生成新的图。

整个页面和文生图也基本上共同,这节咱们首要来解说多出来的几块内容

  • 重绘起伏
  • 图生图下的prompt如何用
  • 缩放形式

Stable Diffusion 解决文生图的局限性:图生图的崭新篇章

二 重绘起伏

最初咱们说图生图的目标便是为了可以依据图片为基准来生成新的图,假如生成的图和原图看不出来联络,那么图生图是不是就没什么含义了? 重绘起伏 便是来操控这个参数的

咱们可以先来看看作用(经过前的课程学到的 X/Y/Z图标来看看不同的 重绘起伏关于原图的影响程度)

1 文生图到图生图

图生图的进口有两种方法

一种是自己上传一张图片到图生图的上传框

别的一种便是在文生图中将生成好的图直接移动到 图生图中

2 模型切换

咱们需要切换一个主模型,在同模型下出图的作用变化不大,咱们尝试将三次元转成二次元动漫风格

Stable Diffusion 解决文生图的局限性:图生图的崭新篇章

3 X/Y/Z 脚本操控 重绘起伏

重绘起伏的规模是 0-1 ,所以咱们可以打开 X/Y/Z 图表脚本,让 SD 一次性生成10张图

Stable Diffusion 解决文生图的局限性:图生图的崭新篇章

4 作用图

跑出来最终的作用:

Stable Diffusion 解决文生图的局限性:图生图的崭新篇章

可以发现,当重绘起伏越高,那么生成出来的原图就越笼统,说白了和原图就没有任何关系了。咱们就可以操控咱们的期望了,调配不同的模型+不同程度的重绘起伏生成不同类型的新图。

三 图生图下的 prompt

既然已经图生图了,那么 prompt 还有用嘛?

依然有用,并且是很有用。

文生图相当所以让 SD 依据你的想法来画一张图

而图生图+prompt,则是告诉 SD 按照我的意思来修一下这张图

举个例子:现在这张图的布景不太美观,咱们希望把布景切换到一个健身房(在正向 prompt 中参加 “一个布景在健身房”)

正向 prompt:
(realistic photo shot in a dark studio), (medium full body shot), (20 year old girl sexy poses in the gym), sports leggings, sports bra, beautiful detailed face, supermodel, (skinny and fit body:1.1), small breasts, pale skin, detailed long blond hair, heavy makeup, (realistic glistening skin), masterpiece, best quality, high resolution scan, (photo by Canon 5d, 50mm ZEISS lens), hourglass proportions, (8k uhd, hdr, dof), (professionally color graded), sharp focus, rim lighting, dimly lit, two tone lighting, dark,((wear jacket))
background in fitness room

Stable Diffusion 解决文生图的局限性:图生图的崭新篇章

最终就会发现,布景和人物都有了在健身房的“状态”。相同的假如咱们参加更多的细节 prompt,那么作用就会更好

四 图生图套娃

有的时分在使用图生图发现不管怎么操控 重绘起伏,最终的作用要么和原图差不多,要么便是和原图一点都不像了

这个时分咱们就可以经过 图生图套娃 来小步重绘,每一次重绘做小步的转化,最终可以保留大部分特征的状况进行模型风格转化。

Stable Diffusion 解决文生图的局限性:图生图的崭新篇章

经过多轮图生图,作用要好于直接一次拉高重绘起伏,这个就可以找一个Q版的模型来制作Q版人物了!

五 缩放形式

1 拉伸

拉伸就比较好理解了。当咱们调整了分辨率后导致和原图不共同,那么 SD 该如何处理呢?拉伸形式就会直接把图片拉大(不推荐使用)

Stable Diffusion 解决文生图的局限性:图生图的崭新篇章

2 裁剪

同理,假如设置的分辨率要小于原分辨率,裁剪就会将剩余的剪掉

Stable Diffusion 解决文生图的局限性:图生图的崭新篇章

3 填充

填充形式就比较有意思了,假如设置的分辨率要高于原图的分辨率,那么多出来的部分 SD 会帮助咱们进行填充,

而填充的内容则会依赖于 重绘起伏,重绘起伏越高,“想象力则越丰厚”

重绘起伏 0.2 的状况下把分辨率拉到 2048 * 1024。SD 会把多出来的布景会进行填充处理

Stable Diffusion 解决文生图的局限性:图生图的崭新篇章

可以看到作用好像不是特别明显

假如咱们把重绘起伏拉到 0.55 在看看作用,SD 的“笼统”才能就体现出来了。相同的想要进一步操控布景的话就需要进一步调整咱们的 prompt 即可。

Stable Diffusion 解决文生图的局限性:图生图的崭新篇章

快快上手玩起来,并私聊发一张你作的图吧

下一节,咱们持续深化学习 图生图形式下的增强功能