炫酷的 ComfyUI 工作流程 #2 – Stable Cascade

Stable Cascade 是 stability.ai 在2024年2月份发布的文本转图像模型。这种创新的文本转图像模型引入了一种有趣的三​​阶段方法，为质量、灵活性、微调和效率设定了新的基准，重点是进一步消除硬件障碍。此外，stability.ai 还在Stability GitHub 上发布了训练和推理代码，以允许进一步自定义模型及其输出。该模型可在 diffusers 库中进行推理。

了解更多关于 Stable Cascade 相关信息请访问本站另一篇博文：Stability.ai 发布 Stable Cascade 。

本文将主要介绍基于 Stable Cascade 的 ComfyUI 工作流程，包括文生图（txt2img），图生图（img2img），图像变体（image variants），控制网络（ControlNet）和内部绘制（Inpainting）。

首先下载stable_cascade_stage_c.safetensors 和 stable_cascade_stage_b.safetensors 检查点并将它们放入 ComfyUI/models/checkpoints 文件夹中，另外还需要下载控制网络和内部绘制中需要使用得到的控制网络：stable_cascade_canny.safetensors、stable_cascade_inpainting.safetensors，并将其保存在 ComfyUI/models/controlnet 文件夹中。

Stable Cascade 是一个 3 阶段过程，首先使用阶段 C 扩散模型生成低分辨率潜像。然后使用 B 阶段扩散模型放大该潜值。然后，该放大后的潜在图像再次放大并由 A 阶段 VAE 转换为像素空间。

文生图（txt2img）

文生图的基本工作流程如下图所示。该工作流程可以从这里下载：HY_stable_cascade__text_to_image.json 。

使用如下的 prompt：

evening sunset scenery blue sky nature, glass bottle with a fizzy ice cold freezing rainbow liquid in it

将会得到如下的输出图片：

图生图（img2img）

下面的工作流程是通过对图像进行编码并将其传递到阶段 C 来执行基本图像到图像的示例。该工作流程可以从这里下载：HY_stable_cascade__image_to_image.json 。

采用工作流程中提供的示例图片，并使用如下的 prompt：

evening sunset scenery blue sky nature, glass bottle with a fizzy ice cold freezing rainbow liquid in it

将得到如下的输出图像：

图像变体（image variants）

Stable Cascade 支持使用 CLIP 视觉的输出创建图像的变体，请参阅以下工作流程示例。该工作流程可以从这里下载：HY_stable_cascade__image_remixing.json 。

采用工作流程中提供的示例图片输入，并使用如下的 prompt：

evening sunset scenery blue sky nature, glass bottle with a fizzy ice cold freezing liquid in it

将得到如下的输出图像：

多图片混合

以下的工作流程展示了如何将多个图片混合在一起来生成新的图片。该工作流程可以从这里下载：HY_stable_cascade__image_remixing_multiple.json 。

使用工作流程中提供的示例输入图片，并输入如下的 prompt：

evening sunset scenery blue sky nature, glass bottle with a fizzy ice cold freezing liquid in it

将得到如下的图片输出：

控制网络（ControlNet）

如下是一个 Stable Cascade 控制网络的基本工作流程。该工作流程可以从这里下载：HY_stable_cascade__canny_controlnet.json 。

该工作流程使用 stable_cascade_canny.safetensors 作为控制网络。

使用工作流程里的示例图片作为输入图片，并使用如下的 prompt：

evening sunset scenery blue sky nature, glass bottle with a fizzy ice cold freezing rainbow liquid in it

将得到如下的输出结果图片：

内部绘制（Inpainting）

如下是一个如何使用 Inpaint Controlnet 的工作流程示例，在该工作流程中您可以右键单击 LoadImage 节点中的图像并使用遮罩编辑器对其进行编辑。该工作流程可以从这里下载：HY_stable_cascade__inpaint_controlnet.json ，输入的示例图片可以从这里下载：yosemite_inpaint_example.png 。

该工作流程使用了 stable_cascade_inpainting.safetensors 控制网络。

采用示例的输入图片，并输入如下的 prompt：

evening sunset scenery blue sky nature, glass bottle with a fizzy ice cold freezing rainbow liquid in it

将得到如下的输出图片：