ai绘画基础总结(三)学习工作流

教程源于学习:AI 绘画进阶入门 ComfyUI 系列教程 -1. 简易安装于配置完全指南!_ 哔哩哔哩 _bilibili,编写此教程目的作为笔记使用。

一、基本工作流控件

K 采样器

名称 参数
随即种 生成的图片 id
运行后操作 fixed(固定)、increment(增加)、decrement(减少)、randomize(随机)、
步数 采样步数通常 20-60 步
CFG 通常 7,少一点就是 4
采样器 euler_ancestral+ 调度器 normal 对应 webui 中 Eulera(最普通的生成方式)、dpmpp_2m+ 调度器 karras 对应 webui 中的 dpm++2m Karras(没有 sde 效果好,增加了图片的发挥和想象力)、uni_pc 和 LCM 类似(10 步之内出不错的图像)
调度器 karras,ddim(可能会崩),simple(作者实验,不好用),normal(线性降噪╱型,泛用式调度器)image-20240331141330211,karras(曲线降噪 s 型,较为平滑,刚开始比较少,到了中间大幅降噪,快结束时又比较少)image-20240331141353547,karras(急速降噪, 后半部,收敛块 )image-20240331141239157,sgm 配合采样器 LCM 搭配使用
降噪 默认文生图就是 1,图生图的重绘幅度

K 采样器(高级)

添加噪波二次渲染不需要

第一次渲染,开始步数默认为 0,步数为 30,结束降噪步数比 30 大没有任何意义。如果小于步数就会主动停止。现在结束降噪步数为 20,那么还剩余 10 步,就会传递给下一次降噪。返回噪波需要开启。二次渲染如果步数到了就不需要了。

也就是说当一次渲染为 30 步,开始降噪步数为 0,结束降噪步数 20,在 20 步结束了降噪步数,返回噪波需要开启噪波,第二次渲染的时候,步数为也为 30,开始降噪步数要设成 20。结束降噪步数 > 步数

这种方法适合不同模型的融合采样二次精炼,在 SDXL 和 1.5 模型都适用。

CheckPoint 加载器(简易)

加载主模型。模型训练的时候像素 512*512 的图像(真实空间(Pixel space)每一个像素生成的空间),训练后压缩一块一块的 64 * 64 电脑会在小块的空间(潜在空间)里面合成我们想要的消息,然后转换成我们肉眼所能看到的图像。

自己想的一个小小的例子,方便大家理解。

1. 前期准备:

  • 您作为一个定制花瓶的生产者,已经积累了丰富的设计经验。
  • 您准备了一个房间,里面存放了成千上万打碎的花瓶碎片。这些碎片代表了像素,而整个房间就是您的大模型,包含了丰富的花瓶样式和元素。

2. 接收需求:

  • 有一天,有客户提出了他们的花瓶需求,通过语言描述的方式告诉您他们想要的花瓶样式。

3. 根据需求提取碎片:

  • 您进入房间(大模型),开始根据客户的描述(CLIP 文本编码器)来寻找符合要求的碎片(像素)。
  • 这个过程中,K 采样器会帮助您从众多的碎片中挑选出最合适的那些。

4. 草图设计:

  • 您现在有了这些碎片,接下来需要进行设计。
  • 您开始根据碎片的编号和需求进行草图设计(K 采样器步数)。这个步骤中,调度器会帮助您决定如何组合这些碎片,以达到最佳的设计效果。
  • 草图的粗糙程度可以通过降噪技术来调整,使设计更加精确和美观。

5. 实物组装:

  • 草图设计完成后,您拥有了花瓶的基本结构和样式。
  • 但是,草图上的只是线条和碎片编号,还不是真正的花瓶。
  • 这时,您会利用 VAE 编码器来进行最后的组装。VAE 编码器会根据您的草图,将对应的碎片(像素)进行组装,生成最终的花瓶实物。

image-20240331143321726

image-20240331143508156

image-20240331143529991

图生图流程

1. 初始图片上传

  • 用户上传一张照片作为参考,这张照片可以是一个具体的物体、风景、人物等,它提供了图生图过程的初始形态和细节。

2. 接收需求清单

  • 用户输入一系列的正负提示词,作为对生成图片的具体要求或期望。这些提示词可以包括颜色、风格、元素增减等各个方面的描述。

3. 细节还原与碎片提取

  • 系统根据您上传的照片,在大模型(即像素碎片库)中寻找与照片细节相匹配的碎片。这些碎片的提取过程确保了原始照片的细节能够得到很好的保留。

4. 设计与制作

  • 有了初始照片和用户需求,系统开始根据这些信息进行设计和制作。它会在保持照片原有细节的基础上,根据用户的正负提示词,调整图片的颜色、添加或删除某些元素,以及改变整体风格等。

5. 降噪与重绘幅度调整

  • 在这个过程中,降噪设置起到了关键作用。它决定了图片重绘的幅度。当降噪设置为 0. 几时,表示对原始图片的改动较小,更多地保留了原始细节。而降噪设置的参数越大,系统对图片的重绘幅度就越大,生成的图片与原始图片的差异也就越明显。

6. 最终生成

  • 经过上述步骤后,系统最终生成一张既保留了原始照片细节,又符合用户需求的全新图片。这张图片是原始图片与用户需求的完美结合,展现了图生图技术的强大能力。

通过这样的流程,图生图技术能够根据用户提供的照片和需求,生成出既符合用户期望又具有创意的全新图片。这种技术不仅在艺术创作中有着重要的应用价值,也在许多其他领域如设计、广告等中发挥着重要作用。

Checkpoint 加载器(pysss)

瑞士军刀:新建节点 > 加载器 >Checkpoint 加载器(pysss)

加载模型是分类,适用于模型储存在不同文件夹分类内, 模型比较多的小伙伴.

Empty Latent Image

决定潜在空间的图像大小,batch_size 批次,就是生成多少张图,K 采样器输入输出都需要潜在空间控制。

VAE 解码

图片会在潜在空间之后解码

预览图像、保存图像

VAE 解码后,今儿可以看到我们的图像了。保存图像路径可以设置,默认存在 ComfyUI 文件夹下的 output 内。

CLIP 文本编码器

我们输入的是 String 类型的字符串,然后通过编码传给采样器。

以下节点需要安装插件使用,部分节点输出可能是 String,所以需要使用默认 CLIP 文本编码器在 CLIP 节点上面右键选择转换为文本输入

当然这种操作可以适用绝大多数节点,就像编程一样,可以把某些节点内的参数转换成变量使用。例如重绘多采样器或者放大操作使用共享相同的随机种子,专门的变量框可以使用元节点,也可以直接拉。

CLIP 文本编码器(Argos 翻译)

汉化插件:新建节点 >ALEK 节点 > 条件

from 设置现在的语言 to 设置要翻译的语言

文本翻译过后是否正确,可以使用预览文字和展示文本节点来查看。下同。

CLIP 文本编码器(翻译高级)

汉化插件:新建节点 >ALEK 节点 > 条件

form 设置 auto 自动 to 目标语言

add_proxies 可以开启代理

service 设置翻译引擎

CLIP 文本编码器(翻译)

汉化插件:新建节点 >ALEK 节点 > 条件

form 设置 auto 自动 to 目标语言

manual_translate 手动翻译

字符串操作

瑞士军刀插件:新建节点 > 实用工具 > 字符串操作

append 追加 replace 替换

可以提升文本框为变量,然后用翻译文本组合使用,每个翻译文本框里面都可以输入不同的场景,这样逻辑会更加清晰。比如第一个是场景环境,第二个是对人物进行修饰的提示词,还有很多操作。

CLIP 文本编码 SDXL(优化)

SDXL Prompt Styler 插件:新建节点 > 高级 > 条件

普通版:宽高,裁剪宽高一般不动,目标宽高。CLIP 中的分辨率一般是真实生成图像的倍数关系,一般都是 2 倍,4 倍这种,配个瑞士军刀的数学表达式使用会更简单。

优化:相比普通的 CLIP 文本编码 SDXL,优化适用于二次精炼。

数学表达式

新建节点 > 实用工具

可以直接作用于空 Latent 节点输出的宽高。

假设空 Latent 节点宽高为 1024,直接空 Latent 出连在 A 上。获取数据就是a.width,此时他就是 1024。如果 4 倍就是a.width * 4。注意在这个里面,不管条件是什么输出的只是一个数,出整数或者浮点直接连接 CLIP 文本编码 SDXL 的进宽高就行了。

加载图像

新建节点 > 图像 > 加载图像

图片上传输入。mask 就是图片蒙版,有可能照片年代久了,有些地方不出清楚了,或者之前有些地方不好看,我们就把它圈起来然他对圈起来的地方重新设计。

使用遮罩后要使用 VAE 内补码编码器,不然不识别遮罩。

VAE 内补码编码器

新建节点 >Latent> 内补 >VAE 内补码编码器

相比普通 VAE 编码多了一个遮罩连接点。

使用遮罩后,注意自己的题词,不然会出现更多的手和脚或者衣服之内的。

图像裁剪

新建节点 > 图像 > 变换 > 图像裁剪

宽高设置,x,y 实现裁剪偏移,在右侧菜单栏中更多选项中勾选自动执行(Auto Queue)改变状态。配合图像按系数缩放节点来实现

CLIP 设置停止层

对应 webui Clip 跳过层

WD14 反推提示词

新建节点 > 图像 >WD14 反推提示词

节点需要插件,并且配置科学,从远程批量下载模型提示词。同时也可以下载模型,本地运行。

在 clash 中要开启 tun 转发,在 cmd 管理员模式下输入上面命令并可开启代理。不会的请参考:AI 绘画拉取模型失败,DOS 开启代理 | XiSoul Blog's

模型:设置反推提示词模型

置信度:阈值,给的越低,反推出来的提示词越零碎,越详细。阈值越高,就会挑一些主要的提示词描述。角色置信度同理。

排除标签就是反推出来的字符串中有你不想要的,你可以复制粘贴进去。

同时也可以配合瑞士军刀插件字符串操作。

SDXL 风格化提示词(高级)

新建节点 > 实用工具 >SDXL 风格化提示词(高级)

L 偏向于 tag,类型人物,座椅板凳这种名词描述,短袖,牛仔裤。

G 偏向于风格,形容词,比如形容女性的头发:长发短发,什么颜色。穿着什么样:什么样的短袖,什么样的牛仔裤。

输出为字符串,普通的 SDXL 需要提供 CLIP 文本编码器将文本框提升为连接点,SDXL 风格化提示词(高级)需要提供 CLIP 文本编码器 SDXL。

SDXL 默认加载一个 offset 的 Lora,进行光线调节。使用风格化提示词,简单的图像也可以没必要使用 offset 的 Lora。

负面词应用可以控制只应用 G 或者 L。

ControlNet 应用

ControlNet 应用(高级)

新建节点 > 条件

高级和普通相比,多了开始时间和结束时间,连接点方面分为正负输出。

图像不能直接输入给 ControlNet 应用,需要安装预处理组件

Aux 集成预处理器

ControlNet 插件: 新建节点 >ControlNet 预处理器

方便简单调用各种预处理器

Lora 加载器

Lora 加载器(pysss)

瑞士军刀:新建节点 > 加载器

相比普通的,加载 Lora 方便文件夹内模型管理

二、快捷操作

Keybind Explanation
Ctrl + Enter 出图
Ctrl + Z/Ctrl + Y 撤销
Ctrl + S 保存工作流
Ctrl + O 载入工作流
Ctrl + A 选择所有节点
Alt + C 折叠所选节点
Ctrl + M 屏蔽 / 取消屏蔽节点
Ctrl + B 穿过所选节点(就像此节点不存在,连线会穿越节点)
Delete/Backspace 删除节点
Ctrl + Delete/Backspace 清空界面
Space 按住之后画布会随着鼠标移动
Ctrl/Shift + Click 多选
Ctrl + C/Ctrl + V 复制粘贴节点
Ctrl + C/Ctrl + Shift + V 保持连线复制粘贴
Shift + Drag 同时移动多个节点
Ctrl + D 加载默认工作流
Q 切换队列可见性
H 切换出图历史可见性
R 刷新界面
双击 打开节点搜索界面

多选:按住 ctrl+ 鼠标拖动

多选后可以右键创建模板组

鼠标中间可以添加中转节点(理线器)

三、功能操作

放大缩放

空间内放大

潜空间前放大

Latent 缩放

指定宽高倍数,粗暴放大,只是尺寸变大。

Latent 按系数缩放

指定倍数,粗暴放大,二次采样注意重绘幅度。

模型方法

放大模型加载器

新建节点 > 图像 > 放大 > 图像通过模型放大

放大中图像缩放,图像按系数缩放也是粗暴放大

4x-UltraSharp.pth

SD 放大

新建节点 > 图像 > 放大 >SD 放大

SD 放大节点混合了采样器采用区块式和 webui 一样。

区块大小自定义,区块模糊就是边缘羽化大小,分块分区通常默认。

接缝修复模式通常采用 Band Pass 效果较强,Half Tile 比较弱。Half Tile+Intersections 效果折中。如果不选默认为 none 会不起作用。

SD 放大(不放大)少一个,方法模型连接点。用于二次采样二次修复

遮罩

新建节点 > 遮罩 > 加载图像遮罩

这个操作是直接在潜空间里面拿图,不需要二次采样

新建节点 >Latent> 内补 > 设置 Latent 噪波遮罩

可以直接遮罩连接点向旁边拖选择设置 Latent 噪波遮罩, 然后直接使用上一个 K 采样器输出的 Latent 然后输出到下一个 K 采样器

反向

CLIP 视觉加载器输入到 CLIP 视觉编码,同时将图像也输入。输出 unCLIP 条件也可以利用提示词传给条件零化然后传给 unCLIP 条件,再然后直接传给 K 采样器。这个过程可以利用多 CLIP 视觉编码进行风格化图片等等。


__EOF__

  • 本文作者: xisoul
  • 本文链接: https://www.cnblogs.com/xisoul/p/18200513
  • 关于博主: 评论和私信会在第一时间回复。或者直接私信我。
  • 版权声明: 本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
  • 声援博主: 如果您觉得文章对您有帮助,可以点击文章右下角推荐一下。