ComfyUI如何使用图生图?

我们经常希望能够对生成的图像进行更细致的调控,包括调整分辨率、修改图片的具体内容或者改变图片中的某些细节。为了实现这些高级功能,我们需要深入了解 Stable Diffusion 模型的两种核心工作流:重绘和参考。接下来,我们将详细介绍如何利用这两种方法来实现更精细的图像生成控制。

前期准备

在开始之前,请确保下载并安装以下模型到 ComfyUI 的指定文件夹中:

图生图的核心工作流

重绘工作流(Simple img2img)

这种方法通过将输入图片先添加噪声,然后再通过降噪过程生成新的图片,实际上是在原有图像的基础上进行重新创作。

ai_tutorial_comfy_ui_advanced_img2img_1

实施步骤

  1. 添加 Load Image 节点:从 All node → image 中添加。
  2. 连接节点:将 Load Image 节点连接到 VAE Encode,再连接到 KSampler。
  3. 设置 KSampler:调整 denoise 参数以控制新生成图像与原始输入图的相似度。

参考工作流(unCLIP model)

通过将图片作为 prompt 的一部分,与文本 prompt 一起输入模型,生成包含原图元素和风格的新图像。

ai_tutorial_comfy_ui_advanced_img2img_2

实施步骤

  1. 添加 Load Image 和 CLIP Vision Encode 节点:从 All node → imageAll node → conditioning 分别添加。
  2. 添加 unCLIPConditioning 节点:从 All node → conditioning 添加,并连接 Text Encoder 和 CLIP Vision Encode 的输出。
  3. 配置 unCLIPCheckpointLoader:替换默认的 Checkpoint 节点,确保模型与所用的 unCLIP 模型一致。

案例分析

简单图像到图像重绘

以下是一个使用 Dreamshaper 模型进行简单图像到图像重绘的示例,其中原始图片通过添加噪声和控制 denoise 设置被重新创作,以符合用户的新指令。

ai_tutorial_comfy_ui_advanced_img2img_3

参考模型使用

使用 unCLIP model workflow 时,原始图像被作为参考素材融合到新的生成过程中,同时结合文本描述,产生含有原图元素和风格的新图像。

ai_tutorial_comfy_ui_advanced_img2img_4

通过掌握和应用这两种图生图工作流,用户不仅能够提升生成图像的质量,还能在生成过程中实现更高程度的个性化控制。无论是调整图像风格,还是在生成的图像中融合具体的内容元素,这些高级技巧都将为你打开一个全新的视觉创作领域。

阅读全文
付费
AI爆文训练营
图文变现友好赛道,低门槛、高上限,教你从0到1做个赚钱的公众号!
立即查看
躺着赚钱
¥149/年
何老师陪你做副业
这里聚焦AI副业、个人IP、自媒体运营、写作、赚钱案例。不哔哔,只分享有价值的副业项目。
立即查看
AI赚钱案例
限免
DeepSeek进阶教程
带你全面掌握DeepSeek应用技巧。提升工作、学习效率
立即查看
100万人学过
付费
网盘拉新实战教程
每周花费一小时,手把手教你赚网盘平台佣金
立即查看
500人学过
免费
Monica AI
Monica AI满血复活DeepSeek【免费】,提升您的聊天、搜索、写作和编程体验。
立即查看
一站式 AI 助手
云服务
腾讯云
综合性的云计算服务平台,现已接入DeepSeek,提供多样化的云解决方案
立即查看
高效可靠
云服务
阿里云
全球领先的云计算与数据服务平台,提供云服务器、存储、数据库、安全等多种服务
立即查看
多样化
DeepSeek企业微信码
免费领取DeepSeek资料