同时加载 ControlNet 与 LoRA 时，画面出现边线过重、颜色溢出、纹理撕裂，并不是因为模型本身存在缺陷，而是两者在 U-Net 同一批特征通道上进行了方向不一致的权重修改。ControlNet 注入的是空间结构约束，LoRA 注入的是风格纹理偏移，它们在前向传播中叠加，若偏移向量方向相反会导致控制失效，方向相同则容易过增强产生脏色。要稳定出图，需要在权重数值和作用范围上做出妥协。
冲突的根源：残差注入与低秩修正的叠加
ControlNet 通过复制 U-Net 编码器并在解码器端以零卷积残差形式加入控制信号，其影响强度由 conditioning_scale 控制。LoRA 则对注意力层的权重矩阵做低秩分解，用两个小矩阵 A 和 B 的乘积作为增量，乘以缩放系数后加到原权重上。两者都在原特征上添加偏移，而不是替换，因此叠加后的特征可以表达为 x' = x + scale_c * delta_c + scale_l * delta_l。delta_c 是结构偏移，delta_l 是风格偏移，当它们的夹角较大时，总偏移被削弱，表现就是结构松散；夹角较小时，总偏移过强，边缘或纹理被放大。
默认的 conditioning_scale 为 1.0，LoRA 权重也常设为 1.0，这种情况下两个增量都处于满幅状态，采样器在去噪的每一步都会受到来自结构控制和风格控制的双重拉扯。尤其在线稿类 ControlNet 与水墨、厚涂、插画类 LoRA 组合时，边缘对比与柔化倾向互相矛盾，画面在边缘附近出现高频抖动或双重轮廓。用户如果单独拉高某一方的权重试图压过另一方，往往会把冲突从结构区转移到颜色区，问题并没有消失。
# 同时加载 ControlNet 与 LoRA 的基础设置
from diffusers import StableDiffusionControlNetPipeline, ControlNetModel
import torch
controlnet = ControlNetModel.from_pretrained(
"lllyasviel/sd-controlnet-canny",
torch_dtype=torch.float16
)
pipe = StableDiffusionControlNetPipeline.from_pretrained(
"runwayml/stable-diffusion-v1-5",
controlnet=controlnet,
torch_dtype=torch.float16
)
# LoRA 权重通过 load_lora_weights 加载，默认 multiplier 为 1.0
pipe.load_lora_weights("path/to/style_lora", weight_name="style.safetensors")
# 初始 generation 时 conditioning_scale 默认为 1.0，是冲突高发区间
image = pipe(
prompt="a girl in ink wash style",
image=canny_image,
conditioning_scale=1.0,
guidance_scale=8.0,
num_inference_steps=28
).images[0]
参数妥协的核心：权重下调与时间步截断
解决冲突最直接的方式不是二选一，而是让两者各退一步。ControlNet 的权重通常建议从 1.0 降到 0.6 到 0.85 之间，LoRA 的推理倍率同步下调到 0.5 到 0.8。ControlNet 权重低于 0.4 时结构约束基本消失，高于 0.9 又容易压过 LoRA 的风格表达，因此这个区间是多数模型的平衡带。LoRA 权重低于 0.5 会让风格特征变淡，高于 0.9 则可能把 ControlNet 的引导信号一并放大。
除了数值下调，另一个关键参数是 ControlNet 的作用时间步范围。在 A1111 WebUI 中对应 guidance start 和 guidance end，在 ComfyUI 中对应 start_percent 和 end_percent。把结束步从 1.0 截断到 0.6 或 0.7，意味着 ControlNet 只在采样前中期构建结构，后期去噪交给 LoRA 和主模型处理。这样能显著减少边线僵化，同时保留色彩晕染和材质细节。guidance scale 建议保持在 7 到 9 之间，过高的 CFG 会放大 LoRA 的过饱和问题，使颜色更加脏。
下表对比了常见参数组合的效果差异，实际数值需根据具体模型微调。
| ControlNet 权重 | LoRA 权重 | 作用时间步 | 典型表现 |
|---|---|---|---|
| 1.0 | 1.0 | 0.0-1.0 | 边线过重，颜色脏，局部纹理撕裂 |
| 0.75 | 0.7 | 0.0-0.7 | 结构稳定，风格保留，细节自然 |
| 0.6 | 0.6 | 0.0-0.55 | 风格更突出，但结构略有松散 |
| 0.4 | 0.5 | 0.0-0.5 | 结构约束弱，人物可能变形 |
import requests
import base64
url = "http://127.0.0.1:7860/sdapi/v1/txt2img"
with open("canny_input.png", "rb") as f:
canny_b64 = base64.b64encode(f.read()).decode()
payload = {
"prompt": "a girl in ink wash style, clean lineart, <lora:ink_style:0.7>",
"negative_prompt": "blurry, ugly, bad hands",
"steps": 28,
"cfg_scale": 7.5,
"width": 768,
"height": 1024,
"alwayson_scripts": {
"controlnet": {
"args": [
{
"input_image": canny_b64,
"module": "canny",
"model": "control_v11p_sd15_canny",
"weight": 0.75,
"guidance_start": 0.0,
"guidance_end": 0.7,
"resize_mode": "Crop and Resize",
"pixel_perfect": True
}
]
}
}
}
response = requests.post(url, json=payload)
进阶方案：分层 LoRA 控制与多 ControlNet 权重分配
当全局调低权重仍然无法兼顾结构与风格时，可以改用分层 LoRA 控制。许多前端工具支持 block weight，允许只让 LoRA 作用于 U-Net 的特定层。例如只对注意力输出层 OUT 和输入层 IN 施加 0.7 到 0.8 的倍率，跳过中间层 M00，可以保留风格纹理而不干扰 ControlNet 在浅层注入的空间轮廓。分层权重字符串类似 BASE:1,IN00:0.8,IN01:0.8,OUT00:0.7,OUT01:0.7,M00:0.3，具体层名因模型而异。
多 ControlNet 叠加也是缓解冲突的常用手段。单一结构信号往往权重大时过硬、小时失效，换成两个不同类型的控制图，比如 Canny 加 OpenPose，各分配 0.4 到 0.6 的权重，总控制量控制在 1.0 左右，结构的稳定性反而优于单个 1.0 权重的 ControlNet。这样做的原因是多个弱约束在特征空间中形成互补，不会像单一强约束那样与 LoRA 在某个方向激烈对抗。
另一个容易被忽略的参数是 ControlNet 预处理分辨率。把预处理分辨率从 1024 降到 512 或 768，会让控制图在特征层面更模糊，相当于软化了边缘约束，给 LoRA 的风格留下更多表达空间。如果使用的是 depth 或 normal 类控制图，可以进一步降低分辨率而不丢失大结构。
from diffusers import StableDiffusionControlNetPipeline, ControlNetModel
import torch
controlnet_canny = ControlNetModel.from_pretrained(
"lllyasviel/sd-controlnet-canny",
torch_dtype=torch.float16
)
controlnet_pose = ControlNetModel.from_pretrained(
"lllyasviel/sd-controlnet-openpose",
torch_dtype=torch.float16
)
pipe = StableDiffusionControlNetPipeline.from_pretrained(
"runwayml/stable-diffusion-v1-5",
controlnet=[controlnet_canny, controlnet_pose],
torch_dtype=torch.float16
)
# 分别设置两个 ControlNet 的权重，总和约 1.0
pipe.controlnet_conditioning_scale = [0.55, 0.45]
pipe.load_lora_weights("path/to/style_lora", weight_name="style.safetensors")
image = pipe(
prompt="a girl in ink wash style",
image=[canny_image, pose_image],
guidance_scale=7.5,
num_inference_steps=28
).images[0]
实际调参案例：人物线稿与水墨风格从崩坏到平衡
以一个实际组合为例，使用 Canny 线稿控制人物姿态，配合水墨风 LoRA。初始参数为 ControlNet 权重 1.0、LoRA 权重 1.0、CFG 8.0、作用步数全程。生成结果面部线条过重，头发边缘出现黑色描边，水墨晕染变成脏灰，背景的留白区域也被 LoRA 的纹理填充。此时单独降低 ControlNet 权重到 0.6，边缘问题减轻，但人物姿态开始不稳定，手指和肩部出现变形。
逐步调整后发现有效组合是：ControlNet 权重 0.75，LoRA 权重 0.7，ControlNet 作用时间步为 0 到 0.65，CFG 降到 7.5。这样前期结构已确立，后期不再强约束，发丝细节由 LoRA 补充，颜色也变干净。为了进一步稳定姿态，再加入 OpenPose 作为第二 ControlNet，权重 0.4，同时把 Canny 权重降到 0.55。最终人物结构稳定，水墨风格完整保留，背景留白不再被污染。
这个案例说明，参数妥协不是简单减法，而是结构控制与风格表达在不同采样阶段的分工。前期让 ControlNet 负责大型结构，中期让 LoRA 参与细节和色彩，后期完全释放。用户可以根据自己的模型和素材，从低权重开始逐步增加，观察转折点。一般控制总权重在 1.0 到 1.4 之间，超过这个范围就容易重新出现冲突。
ControlNetLoRA权重冲突修改时间：2026-09-18 07:21:14