FLUX img2img 1.3 图生图工作流是一种图像生成技术,基于 Flux 框架的 img2img(Image-to-Image)模型版本 1.3,旨在通过将输入图像作为参考生成新的图像。这个工作流的核心是在现有图像基础上进行风格转换、细节优化、内容修改等,提供更灵活的图像编辑和创作功能。
具体来说,img2img 工作流的流程如下:
- 输入图像:用户提供一张原始图像或草图作为输入。
- 目标设定:模型会根据用户设置的目标风格或效果要求,通过对输入图像的分析,自动生成对应的风格化图像。
- 迭代优化:通过多次反馈与调整,模型不断优化图像的细节,增强光影、色彩、纹理等方面的表现力。
- 输出图像:最后生成的图像将根据用户的要求,完成风格迁移、细节增强或内容生成。
FLUX img2img 1.3 版本加强了图像生成的精度与可控性,能够更好地保留原图特征的同时,进行细节的自由修改,广泛应用于艺术创作、概念设计、图像修复等领域。
基础知识:
1)您必须从更新文件夹更新 ComfyUI(使用两个 .bat 文件)。
2)您将需要节点管理器并使用它来安装一些自定义节点。
https://github.com/ltdrdata/ComfyUI-Manager
3) 从 Civitai 页面顶部选择您需要的工作流程,然后下载.zip 文件并在此处解压:
ComfyUI\user\default\workflows
4) 在 ComfyUI 中,加载(或拖动).json 文件以打开工作流。
注意:在 ComfyUI 上使用图片可能会加载旧版本的工作流程。请使用 json 文件。
注意:提示框有 2 个框。请勿提示到clip_1框,它无法很好地遵循提示并产生奇怪的结果。
节点着色:
绿色节点:在这些节点中,您可以自由更改数字来获得您想要的东西。
RED 节点:这是我推荐的设置。不过,您可以随意尝试。
蓝色节点:这些是加载器节点。确保在此处加载文件(只需单击文件名并从选项中选择一个)。如果您没有看到任何选项,那是因为您没有将任何文件放在正确的路径中,或者,如果您这样做了,您可能需要重新启动 ComfyUI。
===============================================
特征:
lora
\ComfyUI\models\loras
- 在运行时添加任何 LORA 后,请确保重新启动或刷新 ComfyUI。
通配符
\ComfyUI\custom_nodes\ComfyUI-Impact-Pack\wildcards
- 您也可以将它们放在子文件夹中。
- 在运行时添加任何 Wildcard 后,请确保重新启动或刷新 ComfyUI。
通配符节点:
- 填充模式允许您使用通配符提示上面的框。
- 固定模式允许您在下面的框中提示而不使用通配符。
法学硕士
\ComfyUI\models\lm_gguf\
- 作为通配符节点的替代,您可以使用LLM AI 模型从您键入的较短提示中生成描述性提示。
- 我使用的模型链接:
https://huggingface.co/MaziyarPanahi/Mistral-7B-Instruct-v0.3-GGUF/tree/main
注意:型号越轻,需要加载的系统 RAM 越少。
- 使用最重的模型(Mistral-7B-Instruct-v0.3.fp16)和FLUX-Dev fp16 可能需要高达50 GB 的系统 RAM。
- 在我的 RTX 3090 上,在启用最重选项的情况下,我能够在大约 700 秒内生成 4MP(3296 x 2560)的图像。
- 中间路线的替代方案是Mistral-7B-Instruct-v0.3.Q4_K_M
控制网(中国)
\ComfyUI\models\controlnet
- 在运行时添加任何 CN 模型后,请确保重新启动或刷新 ComfyUI。
- FLUX:自 v2.2 起应该适用于任何模型。https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro
- 最佳深度预处理器:DepthAnythingv2
- 最佳 OpenPose 预处理器:DWPreprocessor
- 注意:如果您得到奇怪的结果,则需要调整设置。
- end_percent :将其设置在 0.2 到 0.5 之间通常可以达到目的。
- 强度:有时,如果您仍然得到奇怪的结果,您可能需要降低强度。
- SD(XL 或 1.5): 对于 SD 到 FLUX 工作流程一切正常。
细节设计师
\ComfyUI\models\ultralytics\bbox
\ComfyUI\models\ultralytics\segm
如果您收到“无 Dill”警告,请使用 bbox 模型或可以在 Civitai 上找到的“无 Dill”分割模型。
终极标清升频器
\ComfyUI\models\upscale_models
- 在运行时添加任何模型后,请确保重新启动或刷新 ComfyUI。
有单独的工作流程。
- Ultimate SD Upscaler 占用大量系统资源!它将生成 4 个以上的图块,这些图块最终将合并以创建最终图像。
Flux Redux (IP 适配器)
需要两个文件
flux1-redux-dev:
https://huggingface.co/black-forest-labs/FLUX.1-Redux-dev/tree/main
ComfyUI\models\style_models
siglicp_vision_patch14_384
https://huggingface.co/Comfy-Org/sigclip_vision_384/blob/main/sigclip_vision_patch14_384.safetensors
ComfyUI/models/clip_vision
- 添加任何模型后,请确保重新启动或刷新 ComfyUI。
有单独的工作流程。
===============================================
工作流程:
F.1 img2img
版本 1.1:增加了 LORA 支持,以及设置图像分辨率的功能。
注意:在使用 img2img 时使用一个人的 LORA,基本上可以起到换脸器的作用,通过将 LORA 的脸部附加到正在进行 img2img 的身体上。