啊鸡入坑 AI 之《老婆生成器（Stable Diffusion）》

Last Edited Time

Apr 28, 2024 08:50 AM

date

Mar 11, 2023

slug

build-your-ai-wife

status

Published

简介

俺也想要！！！

快速上手

目前主流的安装方式分为以下两种：

Git 下载 AI 工具 + 模型下载，如 NovelAi 本地版详细安装教程、专栏文章版

下载网友们整合好的安装包，如 Stable Diffusion 最终版无需额外下载安装！

为了后续的可持续的更新，以及快速部署，这里鄙人选择使用 Docker 本地构建镜像的方式来进行安装

1. 安装 Stable Diffusion UI 工具

首先保证电脑上已经安装了 Git、Docker 工具，后按照以下命令安装。参考 stable-diffusion-webui-docker

💡

注意目前该项目不支持 AMD GPU 和 Mac

# 克隆项目
git clone git@github.com:AbdBarho/stable-diffusion-webui-docker.git
# 进入项目
cd stable-diffusion-webui-docker
# 下载相关代码到 ./data 目录下
docker compose --profile download up --build
# 启动项目，[ui] 有以下几个选项: invoke | auto | auto-cpu | sygil | sygil-sl
# docker compose --profile [ui] up --build
docker compose --profile auto up --build

命令执行完成后，即可打开 http://localhost:7860/ ，左上角有两个默认的模型，在 Prompt 输入框 输入 blue golden british shorthair 之后再点击 Generate 按钮 就获得一个小猫咪啦

2. 切换模型

a. 下载模型

常见的模型下载仓库为以下几种，点击可直接前往仓库地址：

HuggingFace：Stable Diffusion、ControlNet的官方仓库。

Civitai：里面多是Lora或其它NSFW等模型的仓库。

Discord：公共聊天软件，如果有需要可行前往搜索相应频道。

TG：公共聊天软件，如果有需要可行前往搜索相应频道。

Reddit：公共交流社区，如果有需要可行前往搜索相应频道。

在HuggingFace仓库中下载所需的模型时，将会看到各种各样格式的文件。对于一般的使用者来说，仅下载Stable Diffusion的常用CKPT格式模型文件即可。

b. 使用模型

相关资料如下：

civitai 如何使用模型

AI绘画模型指南

在截图的搜索筛选面板可以看到 civitai 模型的类型有以下几种：

模型类型	模型介绍	模型后缀	模型存放地址	使用方式
Fine-tuned Model Checkpoints (Dreambooth Models)	CKPT格式的全称为 `CheckPoint` （检查点），完整模型的常见格式，模型体积较大，一般单个模型的大小在7GB左右。	.safetensors、 .ckpt	.\models\Stable-diffusion
VAE	全称 `Variational autoencoder` 。变分自编码器，负责将潜空间的数据转换为正常图像。功能描述：类似于滤镜一样的东西，他会影响出图的画面的色彩和某些极其微小的细节。大模型本身里面自带 VAE ，但是并不是所有大模型都适合使用VAE，VAE最好搭配指定的模型，避免出现反效果，降低生成质量。	*.pt	.\models\VAE	`设置 -> Stable-Diffusion -> 模型的 VAE (SD VAE)` ，在该选项框内选择VAE模型。
Textual Inversions	风格模型，即只针对一个风格或一个主题，并将其作为一个模块在生成画作时使用对应TAG在Prompt进行调用。使用方法：例如本站用数百张海绵宝宝训练了一个Embedding模型，然后将该模型命名为HMBaby，在使用AI绘图时加载名称为HMBaby的Embedding模型，在使用Promat时加入HMBaby的Tag关键字，SD将会自动调用该模型参与AI创作。	.pt、.png、.webp 格式，文件体积一般只有几KB	.\embeddings
Hypernetwork		般为.pt后缀格式，大小一般在几十兆左右	.\models\hypernetworks	使用方法：在SD的文生图或图生图界面内的生成按钮下，可以看到一个红色的图标，该图标名为`Show extra networks（显示额外网络）` ，点击该红色图标将会在本页弹出一个面板，在该面板中可以看到`Hypernetwork选项卡` 。
LoRA 基础模型		名称一般为`chilloutmix*` ，后缀可能为safetensors或CKPT。	.\models\Stable-diffusion	使用方法：在SD的文生图或图生图界面内的生成按钮下，可以看到一个红色的图标，该图标名为`Show extra networks（显示额外网络）` ，点击该红色图标将会在本页弹出一个面板，在该面板中可以看到Lora选项卡，在该选项卡中可以自由选择Lora模型，点击想要使用的模型将会自动在Prompt文本框中插入该Lora模型的Tag名称。
LoRA 变体		名称一般为`chilloutmix*` ，后缀可能为safetensors或CKPT。	.\models\Lora

3. 使用 Promote

4. 安装插件

这里以 ControlNet 为例，直接

https://github.com/Mikubill/sd-webui-controlnet