本文正在参加 人工智能创作者扶持方案#人工智能作者扶持方案

咱们好,我是小鱼姐姐。

局面一张图,首图是我好多年前画的一幅画,最近实验拿出来让AI Scribble一下,咱们能看出来哪个是人工涂色,哪个是AI涂色么??

上节咱们简略介绍了一下Stable Diffusion的根底模型及lora,今天咱们接着讲解一下SD提示词的实践篇及ControlNet常用模型篇,本文总字数3000+,一起包含很多的图片及提示词分享。欢迎阅览。

SD如何写提示词

下面是我多方整理以及自己常用的一些规范提示词,在我的事例中,咱们也根本能看出来,我经常用这些提示词。 我按规范提示词、内容提示词、画幅构图视角、提示词的权重分配、正向提示词示例、反向提示词给咱们都举了一些比方,欢迎尝试。

一、规范提示词

通用高画质:

masterpiece:杰作

nsanely detailed,ultra-detailed,highly detailed:张狂的细节,超精密的细节绘制

best quality:高质量

特定高分辨率类型:

HD Quality:高清

8k:8k高清

sharp focus:焦点明晰

unreal engine rendered:虚幻烘托

画家风格:

19世纪肖像画家:John Collier

偏写实和现代风格:Stanley Artgerm Lau

拿手女性肖像,偏印象派:John Singer Sargent

拿手画平面肖像:Alphonse Mucha

画风:

插画风:illustration,painting,paintbrush

二次元:anime,comic,game CG

写实系:photorealistic,realistic,photograph,Ultra realistic illustration

肖像画风:Portrait 用于生成脸部或者头像

数字艺术风格:Digital painting

2D插图风格:Concept art

Ultra realistic illustration

风格:

印象派:hyperrealistic

超现实主义:fantasy

波普艺术:surrealist

二、内容提示词:

人物及主体特征:

精致的脸,明晰的脸:exquisite face,clear face

服饰调配:white dress

发型发色:blonde hair,long hair

五官特点:small eyes, big mouth

面部表情:smiling

肢体动作:stretching arms

人物皮肤:(high detailed skin:1.2)

场景特征:

室内/室外:indoor/outdoor

大场景:forest,city,street

小细节:tree,bush, white flower

环境光照:

白天黑夜:day/night

特定时段:morning,sunset

光环境:sunlight,bright,dark

天空:blue sky, starry sky

三、画幅构图视角:

十种根底构图关键词:

对称构图:Symmetrical composition

对角线构图:diagonal composition

水平线构图:horizontal composition

散点构图:Scattered composition

遮挡构图:blocking composition

线条构图:Line composition

仰拍构图:upside-down composition

俯拍构图:perspective composition

比照构图:Contrast composition

架构式构图:frame composition

距离:close-up,distant

其他一些常用的提示词:

人物份额:full body,upper body

观察视角:from above, view of back

aerial view/aerial photography/overhead shot—俯瞰,做一些宏达的场景俯视图

镜头类型:wide angle,sony v7

合适景色的一些构图:

massive scale宏伟场景构图

Epic level composition史诗级构图

street level view路人视角

lush vegetation茂盛的植被

idyllic田园般的

Matte painting当总是远景,期望有近景,景深一点

blurry background布景虚化

四、提示词的权重分配

括号+数字:

(red flower:1.5):调理red flower呈现的权重是本来的1.5倍,加强。

(red flower:0.5):调理red flower呈现的权重是本来的0.5倍,削弱。

套括号:

((red flower)):每套一层,权重1.1倍,此处表明调理red flower呈现的权重是本来的1.11.1倍,加强。

{{red flower}}:每套一层,权重1.05倍,此处表明调理red flower呈现的权重是本来的1.051.05倍,加强。

[[red flower]]:每套一层,权重0.9倍,此处表明调理red flower呈现的权重是本来的0.90.9倍,加强。

五、正向提示词示例:

((masterpiece)),((nsanely detailed)), ((intricate)),((exquisite face))illustration,a beautiful young girl ,full body,standing,white dress,perfect lighting

常用模板:画质规范+风格+人物特征要求+光线

六、反向提示词:

一般写你不期望画面中呈现的内容。

watermark 水印

Low/worst quality 低质量

Logo 标识文字

NSFW 不需要的属性

个人常用的反向提示词1:

NSFW,lowrs,blurry,(deformed, distorted, disfigured:1.3), (stacked torsos:1.2), (totem pole:1.1), poorly drawn, bad anatomy, wrong anatomy, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck,extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation, (extra fingers:1.2), (worst quality, low quality:1.3)out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, mutation, deformed, blurry, dehydrated, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs

个人常用的反向提示词2:

NSFW,out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

没有人物时常用的反向提示词:

NSFW,out of frame, worst quality, low quality

七、事例:

下面再给咱们看个实际的比方吧.

1、不加任何画质、风格的提示词。

大模型挑选:sd1.5根底大模型

提示词:a beautiful young girl,white dress

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

能够看出来脸部、手部、画风都比较一般。

下面我加上对画质的要求(比方:masterpiece、exquisite face)、风格(比方:photorealistic)的要求、还有镜头距离的要求(比方:close up)、反向提示词看看作用:

提示词:((masterpiece)),((exquisite face)),((best quality)),((photorealistic)),a beautiful young girl,white dress,close up, Appropriate lighting

反向:NSFW,out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

生成图片如下:(能够看出来,脸部算比较明晰精致了,然后也理解了真实的拍摄风格,然后近景)

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

CONTROLNET简介

ControlNet是斯坦福大学研究人员开发的Stable Diffusion的扩展,使创作者能够轻松地操控AI图画和视频中的目标。它将依据边缘检测、草图处理或人体姿势等各种条件来操控图画生成。ControlNet能够概括为一种简略的安稳分散微调办法。下面我给咱们简略介绍一下ControlNet如何运用,下图是ControlNet的webui的页面,我着重讲一下标识出来的4个模块:

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

1、在ControlNet Image:

常用几个选项:

  • Enable :选中此框以启用ControlNet。(需要运用controlnet时这个启用一定要勾选,还有电脑显存较小时勾选上,其他选项我平常用的不多)
  • Low VRAM(低显存形式):这将减缓ETA进程,但有助于运用更少的计算空间(显存小于6 GB VRAM主张运用)
  • Pixel Perfect(像素完美):勾选后会更明晰,画面色彩会更根据原图

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

  • Allow preview:预览形式,勾选后,右侧能够预览不同模型的预览作用。

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

2、文生图+ControlNet 模型:

这儿还是根据上面那个SD事例中的白裙小女子,咱们先加上controlnet看看作用吧。后续第三节再细节每个controlnet模型的运用场景哈。

提示词坚持不变:((masterpiece)),((exquisite face)),((best quality)),((photorealistic)),a beautiful young girl,white dress,close up, Appropriate lighting

加上ControlNet-candy的作用:

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

生成图片作用如下:(白裙、精致的脸庞、candy姿势根本都坚持了,)

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

3、control model模型:

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

(此图来源于网络,供咱们简略理解)

以下原图是自己拍摄的一张图片,后续尽量都会根据这张图片实验controlnet的各种图生图的作用。

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

canny-一线稿

Canny经过运用边缘检测器创立高比照度区域的概括来检测输入图画。线条能够捕捉到非常具体的信息,但假如你的图画布景中有一些物体,它很或许会检测到不需要的物体。所以布景中物体越少作用越好。

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

运用场景:期望保存参阅图的形状,概括会和原图比较挨近

提示词:((masterpiece)),((nsanely detailed)), ((HD Quality)),((best quality))((Illustration style)), the back of a girl, the background is the scenery near Oriental Pearl TV Tower in Shanghai

我重绘起伏调的0.75,修建现已比较挨近原图了,用图生图的功能时,重绘起伏越大,AI发挥空间越大。一般0.6-0.75左右会比较挨近原图。可是人物衣服的色彩也差距较大。

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

Scribble

涂鸦的目的是从简略的黑白线条画和草图生成图画。用户也能够运用“Canvas”选项创立特定巨细的空白画布,用于手动素描(也能够直接上传图画)。假如草图和绘图由白色布景上的黑线组成,则需要选中“Invert Input Color”复选框。

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)
上图能看出来哪个是人工涂色,哪个是AI涂色么?

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

depth-深度图(重绘起伏0.75)

这个预处理器有助于生成输入图画的深度估量。深度通常用于操控图画内物体的空间定位。淡色区域意味着它离用户更近,而深色区域则离用户更远。

在大图画时它或许会丢掉图画内部的细节(面部表情等)。一般会与control_sd15_depth模型组合运用。Midas Resolution函数用于添加或减少detectmap中的巨细和细节级别。它的级别越高,将运用更多的VRAM,但能够生成更高质量的图画,反之亦然。

说明:保存参阅图的空间关系,缺少细节。

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

包包、衣服的细节改变比较大。

这张图或许作用不太显着,我换一张图,下面是预览作用:(运用depth-midas)

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

生成作用如下:(能够看出来深度保存的很好,可是有些细节比方中间那个路的细节丢掉了)

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

depth leres-深度图

Depth Leres有与Depth 相同的根本概念,但在地图中包含更广泛的范围。但有时它会从图片中捕获了太多信息,或许会生成与原始图画略有不同的图画。

生成比照图如下:(能够看到楼房细节改变还是很大的,可是图片深度的空间定位保存的很好)

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

这2种差不多,能够依据不同的图试用两种预处理器,然后决议用哪一种更好。

normal map一法线图(normal-midas)

法线图运用了三种首要色彩(红、绿、蓝),经过不同的角度来精确定位物体的粗糙度和润滑程度。它生成法线图的根本估量,能够保存相当多的细节,但或许会发生意想不到的结果,由于法线图彻底来自图画,而不是在3D建模软件中构建的。

法线图有利于杰出复杂的细节和概括,并且在定位目标方面也很有效,特别是在挨近度和距离方面。“Normal Background Threshold”用于调整布景成分。设置一个更高的阈值能够移除布景的远处部分(将其混组成紫色)。下降阈值将指令AI保存乃至显现额定的布景元素。

背影图生成作用如下:(改变比较大)

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

或许这个controlnet用这张图片不合适,我换一个修建图试一下。

预览作用:(能够看到丢掉了一些概括)

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

生成作用如下:(背影竟然添加了海滩的部分,然后主楼也变了)

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

openpose-动作姿势图

操控生成人物的动态;这个预处理器生成了一个根本的骨骼火柴人形象。这种技能被广泛采用,由于多个 OpenPose 骨架能够组组成一个图画,这有助于引导安稳分散生成多个共同的主题。

示例作用:

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

openpose hand

动作姿势和手部图一操控生成人物的动态和手;

segmentation一语义切割

切割预处理器检测并将上传的图画切割为同一图画内的段或区域。该模型在生成一组新的图画时,将detectmap图画应用于文本提示。

用不同色块生成对应的物体,背影图作用如下:

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

我再用上面的修建图试一下:

预览作用:

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

生成图片:(能够看出来色泽是保存的最好的)

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

最后再看一组玩偶我用controlnet生成的作用:

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

4、control mode:

用于设置是提示词和controlnet那个比重更高,比方你只期望大约参阅controlnet的一些形状,期望呈现更多你提示词里边的内容,则能够挑选my prompt is more important,一般能够挑选balance。

5、Resize Mode:

供给了调整ControlNet巨细和上传图画的纵横比。

  • Just Resize拉伸:不保存纵横比的情况下,改变ControlNet图画的巨细以匹配Txt2Img设置的宽度和高度。这包含拉伸或紧缩图画以习惯指定的尺度。

比方我生成的图片设置的512*512,可是由于我原图是竖版的图片,所以它会主动将原图拉伸后进行匹配再生成。

示例作用:(不引荐运用)

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

  • Crop and resize(裁剪并调整巨细):调整ControlNet图画的巨细以习惯Txt2Image的尺度。它将调整图画的巨细,直到它能够习惯Txt2Image设置的宽度和高度。份额不会变。

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

  • Resize and Fill(调整巨细并填充):调整Txt2Image的巨细以习惯ControlNet图画的尺度。它将调整图画的巨细,直到Txt2Image设置能够合适ControlNet图画。

这种不会改变原图份额,且对主动补全左侧原图没有的部分,引荐运用!

示例作用:

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇(2)

恭喜你,现已阅览完毕,期望本篇文章对您有帮助。

后续有空还会持续更新stable diffussion的运用技巧,下节会讲如何生成脸部尽量共同的人物,如何操控人物的动作,欢迎重视或者点赞哦,再次感谢您的阅览。