ControlNet Scribble 是 Stable Diffusion 生态中专门处理涂鸦和草图的控制模型，它的核心目标是在用户只提供粗糙线条的情况下，引导扩散模型生成结构一致、细节丰富的艺术图像。与单纯依靠文字提示不同，Scribble 把输入图的边缘信息作为强约束，使最终画面不会偏离用户原本的构图意图。这种方式特别适合没有明确光影和色彩规划，但想快速把脑子里的画面落地的创作者。
ControlNet Scribble 的工作原理
从技术实现上看，ControlNet Scribble 基于原始的 ControlNet 框架，即在一个可训练的副本网络中接收条件图像，并通过零卷积将特征融合回主扩散模型。Scribble 专用的预处理器（如 Scribble_PiDiNet 或 Scribble_XDoG）负责把用户上传的草图转换为单像素边缘图。该边缘图只保留线条走向，剔除灰阶和杂色，从而降低模型对“画得好不好”的敏感度，只对“画了什么形状”负责。
在推理阶段，Stable Diffusion 的噪声预测器会同时看到文本嵌入和 Scribble 边缘特征。由于零卷积初始权重为零，训练初期控制分支不影响主干，随着训练推进逐步学习到“边缘对应结构”的映射。这就意味着即使用户画的是颤抖的火柴人，只要关键节点位置正确，模型也能推断出合理的肢体比例与透视。相比之下，未加控制的文生图容易把“人”理解成侧躺或变形团块，因为语言本身无法精确描述坐标。
权重参数（weight）和引导终止步数（end control step）是调节自由度的重要旋钮。权重过高会让画面死板地贴着线条，丢失艺术随机性；权重过低则草图失效。一般经验是将权重设在 0.8 到 1.2，终止步数放在总步数的百分之七十左右，让前期定结构、后期放细节。这种分阶段控制比全程硬约束更容易出惊艳结果。
从草图到成图的完整操作流程
实际部署时，用户可以在 WebUI 的 txt2img 页面加载 ControlNet 单元，选择 Scribble 模型并上传涂鸦。下面是一段用 Python 调用 diffusers 库实现同样逻辑的简化代码，展示如何把本地草图送入管道：
from diffusers import StableDiffusionControlNetPipeline, ControlNetModel
from PIL import Image
import torch
controlnet = ControlNetModel.from_pretrained(
"lllyasviel/control_v11p_sd15_scribble",
torch_dtype=torch.float16
)
pipe = StableDiffusionControlNetPipeline.from_pretrained(
"runwayml/stable-diffusion-v1-5",
controlnet=controlnet,
torch_dtype=torch.float16
).to("cuda")
sketch = Image.open("my_scribble.png").convert("RGB")
prompt = "a fantasy castle on cliff, sunset, highly detailed painting"
result = pipe(
prompt,
image=sketch,
controlnet_conditioning_scale=1.0,
num_inference_steps=25
).images[0]
result.save("output.png")
上述代码中 controlnet_conditioning_scale 等价于界面里的控制权重。若草图背景不是纯白，建议先用量化脚本把非线条区域置白，否则预处理器可能把阴影误判为边界。另外，Scribble 对分辨率不敏感，但长边低于 512 会被主干模型拉伸，导致边缘模糊，因此草图最好保留 768 以上像素。
提示词的写法也有讲究。因为线条已经框定主体，文字应更多描述风格、光照和材质，例如“水彩质感”“体积光”“赛博朋克霓虹”。如果写“一个人”，模型自由发挥空间过大；写“穿盔甲的女人，伦勃朗光”，则能和草图互补。实践里，先低步数出小图预览结构，再提高步数重绘是节省显存的有效策略。
常见问题与效果优化思路
不少使用者反馈开启 Scribble 后画面颜色发灰，这通常是预处理器阈值偏低，把纸张纹理也当成了线。可以在预处理时加一道高斯模糊或提高 XDoG 的 sigma 值。另一个误区是拿彩色草稿直接喂入，结果模型试图匹配颜色反而乱了构图。正确做法是用画图软件把彩色层隐藏，只导出黑白线稿，让 Scribble 纯粹做结构控制器。
当多主体草图出现相互遮挡时，单纯 Scribble 可能融合错误。此时可叠加第二个 ControlNet 单元选用 Depth 或 SoftEdge，用深度信息辅助区分前后。这种多控制单元并联的方式在复杂场景里显著提升了成功率。下表对比了三种常见控制模型在草图任务上的差异：
| 控制类型 | 输入要求 | 结构保真度 | 适用场景 |
|---|---|---|---|
| Scribble | 任意涂鸦线稿 | 高 | 灵感速写转成品 |
| Canny | 清晰硬边缘图 | 极高 | 已有精细线稿 |
| SoftEdge | 柔和边界图 | 中 | 照片提取构图 |
最后要提醒，ControlNet Scribble 并非把烂画变大师的魔法棒，它放大的是构图意图而非造型能力。若草图关键点缺失，模型仍会脑补错误连接。养成“先标节点后连线”的涂鸦习惯，比如先点出眼睛、关节再补轮廓，成图质量会肉眼可见地稳定。配合合理权重与分阶段停止，普通用户也能把会议笔记本上的鬼画符变成可直接使用的插画素材。
ControlNet_ScribbleStable_Diffusion草图生成修改时间：2026-08-15 21:22:31