AI 绘画基础 – 细数 Stable Diffusion 中的各种常用模型 【🧙 魔导士装备图鉴】

AI 绘画新手魔导士在刚开始玩 Stable Diffusion 时总会遇到各种新的概念，让人困惑，其中就包含各种模型和他们之间的关系。

魔法师入门得先知道各种法师配备（各种模型），让咱们遇到问题知道运用何种配备来帮忙自己发挥更大的效果。

safetensors

在了解各种模型之前，有必须先了解下 safetensors，玩过的应该都知道，便是很多模型的后缀。但是各种模型的后缀五花八门，但是总是能看到 safetensors 的影子，让人有些纷乱。

其实首要是因为 safetensors 支撑各种 AI 模型，而在 safetensors 呈现前，各种 AI 模型都有着自己独特的后缀。这就导致每种模型既能够运用 safetensors 又能够运用自己原有的后缀，所以入门的时分就会让人有点分不清。

其实 safetensors 是由 huggingface 研发的一种开源的模型格局，它有几种优势：

• 满足安全，能够防止 DOS 攻击
• 加载迅速
• 支撑懒加载
• 通用性强

所以现在大部分的开源模型都会提供 safetensors 格局。

开源地址： github.com/huggingface…

模型分类

说完了 safetensors 咱们进入正题，聊一聊在 Stable Diffusion 中常见的各种模型。

Checkpoint ｜ Stable Diffusion

Checkpoint 是 Stable Diffusion 中最重要的模型，也是主模型，几乎所有的操作都要依托于主模型进行。而所有的主模型都是基于 Stable Diffusion 模型训练而来，所以有时会被称为 Stable Diffusion 模型。

主模型后缀一般为 .ckpt 或者 .safetensors，而且体积比较巨大，一般在 2G – 7G 之间。而要办理模型咱们需求进入 WebUI 目录下的 models/Stable-diffusion 目录下。

在运用 WebUI 时左上角切换的便是主模型了。

LoRA 和 LyCORIS

LoRA 是除了主模型外最常用的模型。LoRA 和 LyCORIS 都属于微调模型，一般用于操控画风、操控生成的人物、操控人物的姿态等等。

LoRA 和 LyCORIS 的后缀均为 .safetensors，体积较主模型要小得多，一般在 4M – 300M 之间。一般运用 LoRA 模型较多，而 LyCORIS 与 LoRA 比较可调节规模更大，但是需求额外的扩展才可运用。需求办理模型时咱们能够进入 WebUI 目录下的 models/LoRA 目录下。

在 WebUI 中运用时，可经过点击左侧的小红灯，然后在 LoRA 菜单中点击运用。也能够直接运用 Prompt 调用。

Textual Inversion

Textual Inversion 是文本编码器模型，用于改变文字向量。能够将其理解为一组 Prompt。

Textual Inversion 后缀为 .pt 或者 .safetensors，体积十分小，一般只要几 kb。模型地点的目录不在 models 下，而是在 WebUI 中的 embeddings 目录下。

在运用时同样能够运用小红灯中的 Textual Inversion，也能够运用 Prompt 调用。

Hypernetworks

Hypernetworks 模型用于调整模型神经网络权重，进行风格的微调。

Hypernetworks 的后缀为 .pt 或者 .safetensors，体积一般在 20M – 200M 之间。模型的目录为 WebUI 下的 models/hypernetworks。

在运用时同样能够运用小红灯中的 Hypernetworks。

ControlNet

ControlNet 是一个及其强大的操控模型，它能够做到画面操控、动作操控、色深操控、颜色操控等等。运用时需求装置相应的扩展才可。

ControlNet 类模型的后缀为 .safetensors。模型的目录为 models/ControlNet。

运用时咱们需求先去 Extensions 页面查找 ControlNet 扩展，然后 Install 并 Reload UI。然后便能够在 txt2img 和 img2img 菜单下找到：

ControlNet 功能十分强大，还解决 AI 画手的噩梦问题。

VAE

VAE 模型一般用于图片亮度和饱和度的修正、画面较正和以及补光等。一般在绘图时假如呈现图片亮度过低、发灰等问题时就需求用到。

VAE 模型的后缀为 .pt 或 .safetensors，体积一般为 335M 或 823M。模型的目录为 models/VAE。

运用时需求到 Settings 页面找到 SD VAE 菜单切换。

但是这样运用过于繁琐，所以假如运用到主张在 Quicksettings list 配置中增加 sd_vae。

这样就能够在 WebUI 的顶部进行切换。

CodeFormer

CodeFormer 模型一般用于图片的修正，比方进步图片的分辨率、将黑白照片修正成彩色照片、人脸修正等等。

CodeFormer 是一个开源项目，在 WebUI 中现已默许被整合，能够在 Extras 菜单中运用。假如需求修正 CodeFormer 版别能够将模型放到 models/codeformer

一览表

最后

上面几种模型便是 Stable Diffusion 中最常用的几种，经过 Checkpoint 操控图片的首要风格；经过 VAE 给图片补光、调亮；经过 LoRA ｜ LyCORIS 对模型进行风格、人物操控；经过 Textual Inversion 简化 Prompt；经过 ControlNet 进行姿态、颜色操控，修正手部。

不过这并不是 Stable Diffusion 中所有的模型，其它的一些模型假如有空再整理下。