本文介绍我在本地建立 Stable Diffusion Web UI 的体验进程，予以记录共享。

Stable Diffusion 是 2022 年 8 发布的深度学习文本到图画生成模型。它首要用于根据文本的描绘发生具体图画，官方项目其实并不适宜新手直接运用，好在有运用 Stable Diffusion 封装的 WebUI 开源项目，能够通过前端页面来运用 Stable Diffusion，大大降低了运用门槛，本文首要是介绍 Github 作者为 AUTOMATIC1111 的 stable-diffusion-webui；易用，插件丰厚。

下面或许简称 Stable Diffusion 为 SD。

看看效果

本地白嫖AI绘画 ，Stable Diffusion 初探！

▲ 图1-封面，国风模型盲盒

img1 img2 img3
本地白嫖AI绘画 ，Stable Diffusion 初探！
本地白嫖AI绘画 ，Stable Diffusion 初探！
本地白嫖AI绘画 ，Stable Diffusion 初探！

▲ 组图2，模型 meinamix_meinaV8

本地白嫖AI绘画 ，Stable Diffusion 初探！

▲ 图3-生成界面（运用了汉化插件）

我的环境

MacBook Pro 14寸

芯片：Apple M1 Max

内存：32G

体系：MacOS 13.3.1

Python：Python3.8

出图速度(默许参数下)：快的时分9s，有其他调整的时分稍慢

本地白嫖AI绘画 ，Stable Diffusion 初探！

▲ 图4-出图速度

Stable Diffusion Web UI

尝试 Docker

开始准备运用各位大佬推荐的 Docker 建立，便于一键装置，但是发现无法支持 Mac ，无奈放弃！！！

本地白嫖AI绘画 ，Stable Diffusion 初探！

▲ 图5-Docker 装置 FAQ

假如配置吃得住的 Windows 用户能够试试 Docker 建立，流程不复杂，直接拉库房，一键就能够自动装置了，首要运用 docker-compose 进行装置。

Docker 装置可参阅：stable-diffusion-webui-docker [1]

本地运转 stable-diffusion-webui

苹果芯片装置文档参阅[2]很具体建议看原文档

这儿简略介绍下大致流程：

1、假如装置了 Homebrew 能够跳过此步，否则需要到 brew.sh 装置Homebrew 便于装置一些必要软件

2、通过 Homebrew 装置一些必要的程序(因为我本地有 Python 和 Git，所以我装置时去掉了这两个，Python 版别不知道是否有隐患？)：

brewinstallcmakeprotobufrustpython@3.10gitwget

3、将 WebUI 库房克隆下来

gitclonehttps://github.com/AUTOMATIC1111/stable-diffusion-webui

4、下载模型，将 SD 的根底模型（也称之为checkpoint）下载下来放到模型目录stable-diffusion-webui/models/Stable-diffusion，可直接下载 SD 的官方预练习好的模型先试试，也就是文档中下图所指示方位（下个最新的咯），这个官方模型出图效果一般，能够摸清功能后再去试试其他的模型（关于模型相关的介绍下面会提到）

本地白嫖AI绘画 ，Stable Diffusion 初探！

▲ 图6-模型下载

假如下载好了模型，接下来履行启动 UI 的指令，他会自动设置好环境，下载所需的一切依赖

cdstable-diffusion-webui

./webui.sh

初次运转期间我遇到的问题首要是下载慢（Github），开一下署理，再次履行启动指令就好了。

假如是 pip 依赖下载慢，能够尝试切换 pip 源为清华源或许阿里等国内源。

上面步骤假如都完成能成功启动，在左上角模型挑选(参照图3-生成界面)就有模型能够挑选。这时试试给一些提示生成图片了 ，能够愉快的玩耍了 。

本地白嫖AI绘画 ，Stable Diffusion 初探！
▲ 左上角则是基模挑选项，一次只能运用一种基模

汉化UI界面

stable-diffusion-webui-chinese[3]

看不懂英文没关系，直接装插件汉化一下就 OK 咯：

本地白嫖AI绘画 ，Stable Diffusion 初探！

关于模型

**在 SD 中，根据练习方式的不同，最常用的两类模型：**本人了解有限，不对的当地恳请纠正！checkpoint ？

checkpoint 是根底模型，也简称基模，比如上面装置 WebUI 进程中可下载的官方模型就是 SD 预先练习好，是完整模型的常见格式，模型体积较大，一般单个模型的巨细在2~7G 左右；模型后缀一般为 .ckpt 或许 .safetensors

假如下载了 checkpoint，放到 models/Stable-diffusion 目录即可

上面的 SD 1.5 、SD 2.0、SD 2.1，有人说 1.5 的模型比 2.x 的模型效果要好？

下面是一些比较火的三方模型，一般是模型作者根据另外的一些基模（或许是 SD 官方的基模或其他开源的基模）加自己的数据练习出来的模型，一般都是特定风格和一些优化；比如脸型，肤色等等（取决于练习者的数据样本）

chilloutmix**[4]**、chilloutmix_NiPrunedFp32Fix**[5]**… 生成真人的模型，因为其生成的图片风格很适宜亚洲人，所以在国内应该是最火的模型，下面会给下载链接

meinamix_meinaV8[6] ，动漫混合型模型，生成的图片多是动漫风格，文中组图2就是其生成

GuoFeng3[7]、3Guofeng3_v33**[7]**，中国风模型，图1封面图由其生成

LoRA ？

LoRA 模型作用首要是微调，能够理解为在根底模型的前提下，做一些风格增强，因为他固定一些参数和权重，比如有些 lora 模型是专心 亚洲脸调整的参数，有的是古风、动漫风等等不同风格。

它们一般不会超过 1G，必须与 checkpoint 模型一同运用。

假如下载了 lora，放到 models/Lora 目录即可，随后你能够在界面看到它们，写提示词时，点击对应的 Lora 或依照 lora:lora模型名:1 书写即可运用：

本地白嫖AI绘画 ，Stable Diffusion 初探！
本地白嫖AI绘画 ，Stable Diffusion 初探！

下面是运用 chilloutmix_NiPrunedFp32Fix 基模+几个 LoRA 在相同提示语下生成的效果，为了差异不同模型的差异，能够给模型设置预览图：

本地白嫖AI绘画 ，Stable Diffusion 初探！

▲ 不同 LoRA 在相同提示语下的风格差异便于差异

怎样差异根底模型 checkpoint 和 Lora？

比较大的一般就是根底模型（GB级别），其他少于 1G 的一般情况下是 Lora ，究竟练习量不一样

一些模型下载网站或许会标识其类型。

至于其他 VAE、Embedding、Hyperentwork 暂时还不了解。

模型怎么下载

为了让 AI 绘图愈加丰厚多样，我们能够下载不同模型多多尝试，包括不限于 checkpoint 和 lora，下面是能够下载到 SD 相关模型文件的当地

  • 飞桨[8]

    百度的飞桨，有些网友会把一些模型共享在上面，下载会快一些，但只要少量 SD 模型被网友传了上去。

本地白嫖AI绘画 ，Stable Diffusion 初探！

  • huggingface[9]

    很大的模型下载网站，里面包含了方方面面的各类模型。一般推荐在这个网站下载，速度时快时慢（或许是我的网络原因）。

    本地白嫖AI绘画 ，Stable Diffusion 初探！

  • civitai (需科学上网)[10]

    网友简称为C站，上面有许多风格的模型下载，关于每个模型都有图片预览，需要魔法

本地白嫖AI绘画 ，Stable Diffusion 初探！

提示词怎样写

发现即使是下载了风格很冷艳的模型，依然无法生成牛逼的图片，那或许需要在提示词上下功夫了，为了让 Stable Diffusion 制作各种冷艳的图，能够直接参阅别人的提示词

以下是一些比较凶猛的提示词参阅网站，找到喜爱的依照其提示词和参数、Lora 生成即可

civitai[10]：

上面提到的 C 站，每个模型下面都有对应生成的图片共享，能够摘抄下

本地白嫖AI绘画 ，Stable Diffusion 初探！

本地白嫖AI绘画 ，Stable Diffusion 初探！
川普 6

lexica[11]

能够查找 SD 生成的图片，也能够在线生成图片，看到适宜的图片直接仿制哈，会有对应的模型给出，在上面的模型下载网站下载即可

本地白嫖AI绘画 ，Stable Diffusion 初探！

本地白嫖AI绘画 ，Stable Diffusion 初探！

常见问题及处理

在运用 Stable Diffusion 进程中或许会遇到各种常见问题，我们将在这儿供给一些常见处理方案。

  • 1、M1 打开第一次任意模型生成图片，无法生成报错

本地白嫖AI绘画 ，Stable Diffusion 初探！

处理方案：依照提示操作即可

  • 2、无法调整图片高度，默许 512×512，改为 512×1024 报错：

本地白嫖AI绘画 ，Stable Diffusion 初探！

暂时处理方案：改为 512×1023

  • 3、一些情况下某些功能需要在线下载插件、模块等，会出现证书错误

本地白嫖AI绘画 ，Stable Diffusion 初探！

处理方案：

# 换成对应的Python版别
/Applications/Python\3.8/Install\Certificates.command
  • 4、切换模型报错

本地白嫖AI绘画 ，Stable Diffusion 初探！

处理方案

# 启动时添加--no-half选项即
./web-ui.sh --no-half

本文首要记录初步运用 SD 进行文生图的进程，至于图生图，ControlNet 等玩法后续共享

能够把你遇到的问题在谈论区一同讨论

原文链接

参阅：

[1]. github.com/AbdBarho/st…

[2].github.com/AUTOMATIC11…

[3].github.com/VinsonLaro/…

[4]. huggingface.co/AnonPerson/… （内含一些亚洲 Lora）

[5]. aistudio.baidu.com/aistudio/da…

[6]. aistudio.baidu.com/aistudio/da…

[7]. huggingface.co/xiaolxl/Guo… (直接看文档)

[8]. aistudio.baidu.com/

[9]. huggingface.co/

[10]. civitai.com/

[11]. lexica.art/

文章参阅：

AIGC 绘画理论与保姆级实战：

zhuanlan.zhihu.com/p/617042733

SD 采样器：

zhuanlan.zhihu.com/p/621083328

SD 怎么装置运用不同模型：

zhuanlan.zhihu.com/p/619553604

mac本地 SD 环境踩坑：

zhuanlan.zhihu.com/p/608178376

SD运用入门与提示词技巧：

zhuanlan.zhihu.com/p/577238010