估计『AI 绘画』这个主题将持续更新一个系列,包含 Midjourney 和 Stable Diffusion,感爱好的话能够点个重视,保持联系。关于运用 Stable Diffusion 需求用到的各种模型资源问题,能够vx 查找『gjzkeyframe』 重视『关键帧Keyframe』沟通


话不多说,先列本文提纲和关键:

  • 1、Stable Diffusion 的优势和出图作用
  • 2、在各种设备上把 Stable Diffusion 玩起来
    • 苹果 iOS 手机和平板
    • 苹果 macOS 电脑
    • Windows PC 电脑
    • 服务器
  • 3、不同计划的优势和约束
  • 4、依据 Stable Diffusion 怎么商业变现

1、亮剑:Stable Diffusion 的优势和出图作用

咱们在前面的文章中介绍过 Midjourney:一款架设在 Discord 社区的优秀 AI 绘画东西,我把它称作 AI 绘画界的『屠龙刀』。而今日咱们要介绍的Stable Diffusion,我则乐意称它为 AI 绘画界的『倚天剑』。

Midjourney 屠龙宝刀凶猛之处在于它经过 Discord 来构建自己 AI 绘画社区的巧思,这个策略一方面使得用户能够在社区互相学习提示词的运用技巧、快速生成高质量美图,从而激起用户的爱好、刺激了产品的传达;另一方面经过庞大的用户积累了独有的数据集,从而能够依据用户需求针对性地练习模型并快速进行产品迭代,形成了正反馈循环

那 Stable Diffusion 又凶猛在什么地方呢?

Stable Diffusion 是一款 2022 年发布的支撑由文本生成图画的 AI 模型。它首要用于依据文本的描绘产生详细图画,也能够应用于其他任务,如:内补制作(Inpainting)、外补制作(Outpainting)、在英文提示词(Prompt)指导下支撑图生图。这些是一款 AI 绘画东西的根底才能,这儿不多讲。

我认为 Stable Diffusion 能成为与 Midjourney 并驾齐驱的倚天神剑,首要原因则在于它能够在大多数配备有适度 GPU 的电脑硬件上运转,而且项目代码和模型权重是开源的。这样一来,开源社区的开发者就能够在它的根底上进行二次开发、做插件、做东西,这就有了如今结合 Stable Diffusion 玩的飞起的Stalbe Diffusion WebUIChillOutMixLoRAControlNet等开源项目(先不用管这些项目是干什么用的,教程走到对应的情节,自然会给咱们介绍)。这就适当于给 Stable Diffusion 的发展增加了许多的盟友,让这把倚天剑变成了组合套剑,还有了万剑归宗的招式。

话不多说,直接看剑招:

1)港口

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

2)底下窟窿的水晶沉积物

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

1、2 图片来自:PromptHero[1]

3)川濑巴水的意大利之旅

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

4)印象派的北京团建

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

3、4 图片来自:Simon_阿文的微博[2]

看完你是不是觉得:『还行、还凑合,没有之前的 Midjourney 出图那么凶猛嘛。』

那接下来,当 Stable Diffusion 组合上 LoRA 插件后,作业变得不相同了:

1)香甜风小姐姐

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

图片来自:小红书博主:夏夏不酸[3]

2)韩风小姐姐

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

图片来自:小红书博主:小智~[4]

3)二次元小姐姐

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

图片来自:小红书博主:扑扑画画不用笔[5]

我第一次见到这种 AI 绘画的作用我是被震慑到了:『莫非福利姬不存在了?Coser 不存在了?拍摄师不存在了?插画师不存在了?』

为什么 AI 绘画能做到这种地步呢?你是不是也对它的原理有一些猎奇了,刚好到这儿咱们歇口气,我来尽量简要地介绍一下 Stable Diffusion 和 LoRA 的根底知识:

Diffusion 扩散算法技能关键:

1)目前首要盛行的 AI 绘画东西 Midjourney、Stable Diffusion、DALL-E 2、Imagen 等本质上都是是依据Diffusion 算法模型

2)Diffusion 算法练习需求先找到一堆高质量的图片,练习时对每张图片依照高斯噪声公式一步一步来加噪点,直到整张图片变成一张满是噪点的图画(如下图所示),这个练习的进程会记载一切进程。接下来,就用神经网络的方法来反向学习怎么从一个满是噪点的图画变成一张高清图片。

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

Diffusion 算法练习进程

3)一旦完成练习得到了 Diffusion 模型,机器就能够经过噪点来对图画进行猜测。这样一来,整个绘画的进程便是 AI 用一组随机噪点(随机数)来猜测依据它们能画出一个什么样的图片。AI 便是从一堆凌乱的随机数中画出图片的,这个进程是一个大力出奇迹的进程,但凶猛的是最终能产出清晰度和细节度十分高的图片。

LoRA 技能关键:

1)大模型由于参数量巨大(百亿、千亿级别),假如要干特定领域的活、需求做微调时,本钱十分高。

2)LoRA 全称 Low-Rank Adaptation of Large Language Models,是微软研究院引入的一项用于处理大模型微调问题的技能。LoRA 经过冻住预练习好的模型权重参数,然后在每个其间的一些模块注入可练习的层,则不需求对模型的权重参数重新计算梯度,大大减少了需求练习的计算量。研究发现,LoRA 的微调质量与全模型微调适当,而本钱又很低,所以能够称为神器。

3)LoRA 本来是给大语言模型预备的,但把它用在 Stable Diffusion 的交叉注意层(Cross-Attention Layers)也能影响用文字生成图片的作用。这样一来,使得运用自定义数据集来微调 Stable Diffusion 模型变得十分容易。而且,运用 LoRA 能够支撑发布单个 3.29MB 文件来让他人运用你的微调模型。这成为了各种特征 LoRA 张狂盛行的根底。

参阅:

  • Github LoRA[6]
  • Using LoRA for Efficient Stable Diffusion Fine-Tuning[7]
  • 运用 LoRA 进行 Stable Diffusion 的高效参数微调[8]

2、铸剑:在各种设备上把 Stable Diffusion 玩起来

你希望在什么设备上玩 Stable Diffusion?

咱们能够投一下票,咱们会依据咱们的状况决定后续教程的偏重。

2.1、苹果 iOS 手机和平板

在手机上能够经过Draw Things[9]这款 App 来运用 Stable Diffusion,不用连网完全本地运转出图,不过目前对手机型号和体系版别有如下要求:

  • 手机设备要求 iPhone XS、XS Max、Xr、11、11 Pro、11 Pro Max、SE 2nd Gen、12、12 Mini、12 Pro、12 Pro Max、SE 3rd Gen、13、13 Mini、13 Pro、13 Pro Max、14、14 Plus、14 Pro、14 Pro Max,要求体系在 iOS 15.4 及以上。
  • 平板设备要求 iPad Air、Mini、Pro,要求体系在 iPadOS 15.4 及以上。

1)Draw Things 的根底功用:

Draw Things 有这些 AI 绘画的根底功用:

  • 文字生成图片
  • 文字+图片生成图片
  • 内补制作(Inpainting)
  • 外补制作(Outpainting)

下面是一些功用示例图:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

2)支撑设置 Stable Diffusion 的各项参数

一起也支撑设置 AI 绘画的各种参数,包含:出图分辨率、绘图步数、提示词引导权重、图生图引导权重、采样器等。如下图所示:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

设置 AI 绘画参数

3)支撑切换不同的 Stable Diffusion 的模型

比方下面便是用Waifu Diffusion v1.3 for Anime出图的作用:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

运用不同的模型

Draw Things 有内置一些模型选项能够点击下载运用,假如内置的不够用,还能够点击Customize来下载其他支撑 Draw Things 的模型来用,如下图所示:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

要下载其他非内置的模型,首先你得找到它们,这儿就不得不提一下闻名的C 站(civitai.com/)[10]了。这儿是一… ChilloutMix、亚洲三姐妹 LoRA(koreanDollLikeness、japaneseDollLikeness、taiwanDollLikeness)等模型都能够在这儿找到。这儿有一些模型是支撑 Draw Things 的,比方:ChilloutMix[11],但遗憾的是,到本文写作时 Draw Things 还不支撑 LoRA。

鄙人载模型之前,你需求检查一下你找到的模型是否支撑 Draw Things,能够按下图处理:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

如图 1 点击模型下载按钮边上的绿底三角按钮,能够在弹出的信息框中看到是否支撑 Draw Things(如图 2)。假如是在 Safari 浏览器翻开的 C 站,如图 2 中点击蓝底箭头按钮能够直接跳转到 Draw Things 进行下载。当然,你也能够在图 1 中,仿制蓝底模型下载按钮的链接地址取得模型的下载地址,把它填到 Draw Things 的自定义模型下载地址中来下载。

4)支撑 LoRA

在最新版别的 Draw Things 中现已支撑 LoRA 了,而且能够支撑多个 LoRA 模型一起运用。

你能够直接下载内置的 LoRA 模型,也能够经过 URL 下载自己需求的 LoRA 模型。

如下图所示:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来
《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

5)支撑 ControlNet

在最新版别的 Draw Things 中现已支撑 ControlNet 了,如下图所示:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

Draw Things 支撑 ControlNet

那 ControlNet 是干什么的呢?这儿咱们简单介绍一下。

在咱们经过提示词来引导 AI 模型进行绘画时,在一些画面结构、主体姿态、人物手型等操控上仍是不够精准,ControlNet 就能够比较好的处理这个问题。ControlNet 可操控 Stable Diffusion 学习特定任务的输入条件,比方输入的线稿图、深度图、骨骼图等,生成与输入文本对应的高质量图片。

下面是运用一张已有图生成的线稿图,再加上提示词生成新图的作用:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

ControlNet 作用

2.2、苹果 macOS 电脑

要想在苹果 macOS 体系的电脑上把 Stable Diffusion 玩起来,有两种计划:

计划 1:运用 Draw Things App

在苹果电脑要玩起 Stable Diffusion,一种方法跟 iPhone/iPad 相同,直接运用 Draw Things App,它也是支撑 macOS 的。可是也相同的对设备和体系版别有要求:

  • 设备要求 M1/M2 芯片的 Mac Mini、Mac Studio、MacBook Air、MacBook Pro,且 macOS 体系版别在 12.4 及以上。

Draw Things App 在 macOS 上的用法和 iOS 上相同,参阅上文即可,这儿就不过多介绍了。

至于出图速度,我自己在 M1 的 MacBook 上 steps 20 的出图速度在 30s 左右,供咱们参阅。

计划 2:装置 Stable Diffusion WebUI

在苹果电脑本地玩 Stable Diffusion 的另外一种方法是装置Stable Diffusion WebUI(github.com/AUTOMATIC11…

又来了新名词Stable Diffusion WebUI,咱们继续简单介绍:

Stable Diffusion WebUI 是一个开源的依据 Gradio 库开发的用于运用 Stable Diffusion 的 Web 页面项目。

Gradio 则是专门用于轻松完成 AI 算法可视化布置的开源库。

简单来讲便是 Stable Diffusion WebUI 供给了一套 Web 页面让咱们能够经过在网页上运用 Stable Diffusion 的各种才能。它长这样:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

Stable Diffusion WebUI

由于 Stable Diffusion WebUI 运用的 Gradio 是依据 python3 的项目,所以,建立这套环境最首要的问题是处理 python3 的环境问题。

下面咱们来介绍怎么建立这套环境:

1)环境预备:装置 Homebrew

Homebrew 是一个用于在 macOS 上便捷装置和办理各种软件包的东西,咱们后面许多包都会依靠它来装置,所以先把它装好。

官网的装置指令是:

/bin/bash-c"$(curl-fsSLhttps://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

假如因为拜访国外某些资源网络不通,导致装置失利,你能够运用国内的镜像来装置,指令如下:

/bin/zsh-c"$(curl-fsSLhttps://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"

装置完成后,能够用下面的指令查看一下版别,检测装置是否成功:

brew--version

2)环境预备:装置 python 3.10

macOS 默许带的 python 版别一般是 2.x,可是这儿咱们要用 3.10,所以要装置一下。运用下列指令用 Homebrew 来帮咱们装置:

brewinstallcmakeprotobufrustpython@3.10gitwget

等候装置完成即可。

3)项目装置:下载 stable-diffusion-webui 项目

你能够运用下列指令从 github 上克隆这个项目:

gitclonehttps://github.com/AUTOMATIC1111/stable-diffusion-webui

可是由于项目比较大(4G 左右),速度比较慢,你也能够运用如下链接直接从国内云盘下载其他开发者现已打包好的资源并解压好:https://pan.quark.cn/s/8c5e66287f37

这儿面是 stable-diffusion-webui 的项目,不包含 Stable Diffusion 和 LoRA 的模型。

4)项目装置:下载和配置 Stable Diffusion 和 LoRA 模型

比较引荐的根底模型有:

  • Stable Diffusion v1.5[13]:这个是官方原始模型,其间包含两个版别:绘画版(4.27GB),只用于绘画;练习版(7.7GB),能够以此模型为根底练习自己的模型。
    • 下载地址(下载后缀名为 .safetensors 的文件):https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main
  • ChilloutMix[14]:这个模型是在 2023.02 月出现在 C 站的一个真人写实风格的开源模型,能够画出以假乱真的拍摄级真人。上文展示的香甜风小姐姐韩风小姐姐都是用它作为根底模型的。
    • 下载地址:https://civitai.com/api/download/models/11745

比较引荐的 LoRA 模型是亚洲三姐妹:

  • koreanDollLikeness
  • japaneseDollLikeness
  • taiwanDollLikeness

可是,目前它们在 C 站上都现已下架了,这儿也不便利贴出备份地址,你能够在本大众号回复音讯模型来获取备份的模型地址:

除了上面的根底模型和 LoRA 外,还要下载一个影响出图的色调文件:

  • sd-vae-ft-mse-original[15]:
    • 下载地址(下载后缀名为 .safetensors 的文件):https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main

下载完这些模型后,就能够把布置起来了:

  • 根底模型:把 safetensors 拷贝到stable-diffusion-webui/models/Stable-diffusion途径。
  • LoRA 模型:把 safetensors 拷贝到stable-diffusion-webui/models/Lora途径。
  • VAE 文件:把 safetensors 拷贝到stable-diffusion-webui/models/VAE途径。

如下图所示:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

Stable Diffusion WebUI 的模型布置途径

5)项目运转:运转 stable-diffusion-webui 项目及处理依靠库的装置

做完上面这些进程,预备作业就告一段落了,接下来便是运转项目和处理依靠库装置的问题。

进入 stable-diffusion-webui 文件夹运用下面指令来发动项目:

./webui.sh

这个进程会装置项目需求的依靠库,通常会遇到一些问题,这儿有几个主张:

  • 这步最好是在网络环境比较晓畅的状况下进行,要不然会遇到依靠库无法下载而导致装置失利。
  • 遇到一些 python3 相关的依靠库的报错,能够运用 homebrew 独自装置,或许运用 pip3 来依照。
  • 其他问题能够鄙人面的参阅文章里去找一下处理计划。

参阅:

  • Mac 本地布置 Stable Diffusion[16]
  • SD WebUI Installation on Apple Silicon[17]

当最终你看到相似下面的界面是,基本上就大功告成了:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

Stable Diffusion WebUI 运转

在浏览器中输入http://127.0.0.1:7860回车即可开端游玩了。

2.3、Windows PC 电脑

要在 Windows PC 电脑上把 Stable Diffusion 建立起来,首先需求显卡能够满足需求,Stable Diffusion WebUI 的最低显存要求是 4GB

假如显卡给力,接下来的作业就跟在 macOS 电脑上建立的道理相似,便是把Stable Diffusion WebUI(github.com/AUTOMATIC11… python 环境及各种依靠库给下载下来,将项目运转起来。可是也有更便利的方法,咱们下面就来介绍一下。

1)下载 Stable Diffusion 及其依靠环境的整合包。

B 站 UP 主秋葉aaaki[19]、独立研究员-星空[20]都有制作 Stable Diffusion 及其依靠环境的整合包,只要全体下载下来就能够直接运用。

下面是几个整合包的下载地址,咱们能够选一个自己去取:

  • https://pan.baidu.com/s/1_FYbDpkX6Q6hDVHJpCMRxA?pwd=o852
  • https://pan.quark.cn/s/33d297ea2763
  • https://pan.baidu.com/s/1DkWLkS3R8jWc5TCGRCcn0Q?pwd=2bn2

2)下载 WebUI 的发动器。

接下来能够去 秋葉aaaki 的视频教程描绘中 去找到 WebUI 发动器的下载地址:

  • https://pan.baidu.com/s/1XHOx7zgO0IQVL-01opwXjA?pwd=uvdy

把它下载下来,并将下载完成的发动器解压缩仿制到方才的整合包文件夹中,双击发动器A发动器.exe就能够发动了。

这个发动器的功用首要是经过可视化的界面帮助咱们来下载和办理 Stable Diffusion WebUI 的各种插件和模型。

3)经过 WebUI 发动器更新模型和扩展。

翻开发动器后,咱们要做两个作业:

  • 1、点开版别办理栏,点击一键升级按钮,升级模型。
  • 2、点开扩展办理栏,点击一键更新按钮,更新扩展。

4)给 WebUI 装置 Kohya-ss Additional Networks 扩展以支撑 LoRA。

  • 1、回到 WebUI 发动器,点开一键发动栏,点击一键发动按钮,翻开 WebUI 的页面。
  • 2、依次点击:页面上部的扩展栏 →可用栏 →加载自按钮。
  • 3、在列表中找到Kohya-ss Additional Networks插件,点击它右侧的Install按钮。
  • 4、等候该插件装置完成后,点击出现的重启并应用用户界面

重启后,假如顶层 Tab 上多了Additional Networks就说嘛插件现已装置成功了。

接下来就能够布置自己喜爱的根底模型和 LoRA 了。

5)下载和布置自己喜爱的根底模型和 LoRA。

跟上面相同,咱们比较引荐的主模型:

  • ChilloutMix[21]:这个模型是在 2023.02 月出现在 C 站的一个真人写实风格的开源模型,能够画出以假乱真的拍摄级真人。上文展示的香甜风小姐姐韩风小姐姐都是用它作为根底模型的。
    • 下载地址:https://civitai.com/api/download/models/11745

比较引荐的 LoRA 模型是亚洲三姐妹:

  • koreanDollLikeness
  • japaneseDollLikeness
  • taiwanDollLikeness

可是,目前它们在 C 站上都现已下架了,这儿也不便利贴出备份地址,你能够在本大众号回复音讯模型来获取备份的模型地址:

这儿需求注意:

  • 1、对于 ChilloutMix 这样的主模型,咱们下载下来后,需求把它们拷贝到 WebUI 整合包文件夹下的models\Stable-diffusion目录下。
  • 2、对于 koreanDollLikeness、japaneseDollLikeness、taiwanDollLikeness 这样的 LoRA 模型,咱们下载下来后,需求把它们拷贝到 WebUI 整合包文件夹下的extensions\sd-webui-additional-networks\models\lora目录下。

6)经过 WebUI 发动器发动 WebUI。

现在咱们封闭 WebUI,回到 WebUI 发动器,点击一键发动按钮,重启 WebUI。

当 WebUI 页面发动完成后,咱们自己布置的主模型和 LoRA 应该也能够用了,接下来就能够进入 AI 绘画的国际开端游玩了。

参阅:

  • 打造你的赛博 Coser-StableDiffusion 模型及 LoRA 插件保姆级教程[22]
  • Stable Diffusion 最终版,无需额外下载装置[23]
  • 发动器正式发布!一键发动/修复/更新/模型下载办理全支撑![24]

2.4、云服务器

除了在自己的 iOS、macOS、Windows 设备上建立 Stable Diffusion 的环境之外,咱们还能够在云服务器上布置 Stable Diffusion。

这儿仍然要感谢有忘我的开发贡献者,把整个流程变得十分简单。这儿运用的便是巴哈姆特上的一篇文章介绍的开源布置脚本在 Colab 上布置 Stable Diffusion WebUI。

1)拜访 Colab 傻瓜式布置 Stable Diffusion WebUI 的脚步。

要拜访下面的服务,需求具备必定的上网条件,假如条件就绪,你能够翻开这个网址:https://colab.research.google.com/drive/1lekLF7iib6M1R-NCylS0VMTF4wve-XuV?usp=sharing

2)直接运转布置脚本的『前置进程』。

点击下列按钮开端履行『前置进程』:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

履行前置进程

成功运转完成后,会看到每一个细分进程前有一个小绿勾。

3)挑选和下载需求的 SD 模型和 LoRA 模型。

2.1 下载 SD 模型这一步,参阅下图挑选ChilloutMix_Ni_fix模型:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

设置要下载的 SD 模型

2.2 下载 Embedding + Hypernetwork + LoRA这一步,参阅下图挑选一切的内置 LoRA 模型:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

设置要下载的 LoRA 模型

收起2 - 下载模型,点击下列按钮开端履行『下载模型』:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

履行下载模型

相同的,成功运转完成后,会看到每一个细分进程前有一个小绿勾。

4)挑选和下载需求的 Extension。

3.1 下载&更新 Extensions这一步勾选需求的扩展:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

挑选需求下载扩展

3.2 下载 ControlNet 模型这一步勾选需求的 ControlNet 模型:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

挑选需求下载 ControlNet 模型

收起3 - Extension,点击下列按钮开端履行『Extension』:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

履行 Extension

5)直接履行『其他设置』。

点击下列按钮开端履行『其他设置』:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

履行其他设置

6)直接履行『发动 WebUI』。

点击下列按钮开端履行『发动 WebUI』:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

履行发动 WebUI

假如顺畅运转,到后面你会看到如下输出:

《Stable Diffusion 倚天剑术》第 1 卷:在各种设备上把 Stable Diffusion 玩起来

进入 WebUI 页面

点击public URL进入 WebUI 页面即可开端运用了。

3、论剑:不同计划的优势和约束

上面介绍的不同计划有着各自不同的优势和约束,你能够依据自己的状况来挑选合适的计划。

1)苹果 iOS 手机和平板

运用 Draw Things App:

  • 优势:
    • 是在手机和平板上本地玩 Stable Diffusion 为数不多的挑选
    • 本地出图,随时可玩
    • 运用比较便利
    • 支撑自己挑选根底模型
    • 支撑 LoRA
    • 支撑 ControlNet
  • 约束:
    • 要求 iPhone XS 以上
    • 运用时手机发热比较明显
    • 出图速度不快,一般出图时刻在 1 分钟左右

2)苹果 macOS 电脑

运用 Draw Things App:

  • 优势:
    • 本地出图,随时可玩
    • 运用比较便利
    • 支撑自己挑选根底模型
    • 支撑 LoRA
    • 支撑 ControlNet
    • 出图速度还能够,一般出图时刻在 30s 左右
  • 约束:
    • 要求 M1 芯片以上

运用 Stable Diffusion WebUI:

  • 优势:
    • 本地出图,随时可玩
    • 支撑自己挑选根底模型
    • 支撑 LoRA
    • 支撑 ControlNet
    • 支撑集成到 WebUI 的各种其他插件
  • 约束:
    • 要求 M1 芯片以上
    • 比较吃内存,主张内存 32G 以上
    • 运用稍微杂乱
    • 出图速度不快,一般出图时刻在 2 分钟左右

3)Windows PC 电脑

运用 Stable Diffusion WebUI:

  • 优势:
    • 本地出图,随时可玩
    • 支撑自己挑选根底模型
    • 支撑 LoRA
    • 支撑 ControlNet
    • 支撑集成到 WebUI 的各种其他插件
    • 出图速度不错,一般出图时刻在 15s 左右
  • 约束:
    • 要求显卡显存 4GB 以上,内存 16GB 以上
    • 运用稍微杂乱

4)云服务器

运用 Stable Diffusion WebUI:

  • 优势:
    • 不需求操心硬件资源
    • 支撑自己挑选根底模型
    • 支撑 LoRA
    • 支撑 ControlNet
    • 支撑集成到 WebUI 的各种其他插件
    • 出图速度不错,一般出图时刻在 15s 左右
  • 约束:
    • 运用稍微杂乱
    • 需求联网运用
    • 运用云服务资源可能需求付费

4、试剑:依据 Stable Diffusion 怎么商业变现

假如你对运用 Stable Diffusion 进行商业变现有爱好,能够wx查找『lsdscrewdriver』,我将和你沟通咱们依据 Stable Diffusion 完成商业变现的一些探究。

参阅资料

[1]PromptHero:prompthero.com/

[2]Simon_阿文的微博:weibo.com/u/page/fav/…

[3]小红书博主:夏夏不酸:www.xiaohongshu.com/user/profil…

[4]小红书博主:小智~:www.xiaohongshu.com/user/profil…

[5]小红书博主:扑扑画画不用笔:www.xiaohongshu.com/user/profil…

[6]Github LoRA:github.com/cloneofsimo…

[7]Using LoRA:huggingface.co/blog/lora

[8]运用 LoRA 进行 Stable Diffusion 的高效参数微调:101.dev/t/lora-stab…

[9]Draw Things:drawthings.ai/

[10]

C 站:civitai.com/

[11]

ChilloutMix:civitai.com/models/6424…

[12]

Stable Diffusion WebUI:github.com/AUTOMATIC11…

[13]

Stable Diffusion v1.5:huggingface.co/runwayml/st…

[14]

ChilloutMix:civitai.com/models/6424…

[15]sd-vae-ft-mse-original:huggingface.co/stabilityai…

[16]Mac 本地布置 Stable Diffusion:zhuanlan.zhihu.com/p/608178376

[17]SD WebUI Installation on Apple Silicon:github.com/AUTOMATIC11…

[18]Stable Diffusion WebUI:github.com/AUTOMATIC11…

[19]秋葉aaaki:www.bilibili.com/video/BV17d…

[20]独立研究员-星空:www.bilibili.com/video/BV16j…

[21]ChilloutMix:civitai.com/models/6424…

[22]StableDiffusion 模型及 LoRA 插件保姆级教程:op7418.zhubai.love/posts/22389…

[23]Stable Diffusion 最终版,无需额外下载装置:www.bilibili.com/video/BV17d…

[24]发动器正式发布:www.bilibili.com/video/BV1ne…