图像生成模型的功能越来越强大，但实际拿来做图编辑时，很多人都会遇到同一个问题：明明只想修改画面中的某个人物或某个物体，结果模型却把整张图都重新“脑补”了一遍，背景变了、光线变了、甚至连没打算动的区域也被涂改得面目全非。这类问题的根源在于编辑区域的控制不够精确，而解决它的两个核心技术就是掩码生成与区域重绘。前者负责告诉模型“哪些像素允许改”，后者负责让被改的区域与周围内容自然融合。
一、掩码生成的常见方式与原理
掩码本质上是一张与原图同尺寸的图，通常为单通道灰度图，白色（值为255）表示允许编辑的区域，黑色（值为0）表示必须保持原样的区域。模型在推理时会参考这张掩码，只在白色区域内重新生成内容，黑色区域则直接沿用原图像素。理解了这一点，就能明白为什么掩码的精度直接决定了编辑的精度。
常见的掩码生成方式有三类。第一类是手工绘制，在图像编辑软件里用画笔把要改的区域涂白，这种方式最直观也最可控，适合精确修改眉毛、饰品等小物件，缺点是效率低且对绘制者的耐心有要求。第二类是基于分割模型的自动生成，比如用SAM（Segment Anything Model）或YOLOv8的分割版本对图像做实例分割，再根据类别名筛选出目标物体生成掩码，这种方式效率高、边缘贴合物体轮廓，适合批量处理。第三类是基于交叉注意力掩码，即在扩散模型的去噪过程中提取某一文本token对应的注意力图，得到语义层面的编辑区域，代表项目是DiffEdit，它的好处是完全自动、无需人工标注，但在多目标场景下可能出现注意力漂移。
下面是一段用SAM生成掩码的示例代码，通过点提示指定目标物体，即可得到高质量的二值掩码：
from segment_anything import sam_model_registry, SamPredictor
import cv2
import numpy as np
# 加载SAM模型
sam = sam_model_registry["vit_h"](checkpoint="sam_vit_h.pth")
predictor = SamPredictor(sam)
image = cv2.cvtColor(cv2.imread("input.jpg"), cv2.COLOR_BGR2RGB)
predictor.set_image(image)
# 用一个前景点提示定位目标物体
masks, scores, _ = predictor.predict(
point_coords=np.array([[500, 300]]),
point_labels=np.array([1]),
multimask_output=True
)
# 取得分最高的掩码并保存
mask = masks[np.argmax(scores)].astype(np.uint8) * 255
cv2.imwrite("mask.png", mask)三种方式各有适用场景，实践中经常组合使用：先用分割模型生成粗掩码，再手工微调边缘，最后做一步羽化处理，让掩码边界过渡更柔和。羽化可以用OpenCV的高斯模糊实现，对边界做3到10像素的模糊通常就足够，数值过大会导致编辑内容“溢出”到不该动的区域。
二、区域重绘的关键技术细节
有了掩码之后，重绘的质量取决于几个容易被忽视的细节。第一个细节是重绘区域的外扩。如果掩码刚好贴着物体轮廓，重绘出来的内容会显得局促，因为模型缺少上下文信息。工程上的普遍做法是把掩码向外膨胀10到30像素，给模型留出“呼吸空间”，比如修改人物的衣服时，把衣领、袖口附近的区域也纳入重绘范围，新旧像素的过渡会更自然。
第二个细节是潜空间操作。Stable Diffusion这类模型在潜空间中工作，一张512乘512的图会被压缩成64乘64的潜变量。如果直接把原图和掩码下采样到潜空间尺寸，掩码边缘会产生严重的锯齿和半透明像素，重绘边界就会生硬。正确的做法是在像素空间先处理好融合，或者在潜空间中用逐元素乘法叠加掩码，保证边界过渡平滑。许多WebUI中看到的“重绘幅度”参数，本质上是控制噪声强度，即潜变量被替换成随机噪声的比例，数值越高模型越“放得开”，与原图的差异也就越大。
第三个细节是大面积重绘的降质问题。当掩码覆盖面积超过画面的三分之一时，模型可参考的上下文太少，容易出现构图崩坏、内容重复等问题。应对方法有两种：一是分块重绘，把大区域拆成多个小块依次处理，每块都保留足够的周围上下文；二是采用“低分生成加高分放大”的策略，先在低分辨率下重绘整体结构，再用放大模型恢复细节。下面是一段调用Stable Diffusion Inpainting管道的完整示例：
import torch
from diffusers import StableDiffusionInpaintPipeline
pipe = StableDiffusionInpaintPipeline.from_pretrained(
"runwayml/stable-diffusion-inpainting",
torch_dtype=torch.float16
).to("cuda")
image = Image.open("input.jpg").convert("RGB")
mask = Image.open("mask.png").convert("L")
# 对掩码做高斯羽化，让边缘过渡更柔和
import numpy as np
mask_np = np.array(mask)
mask_np = cv2.GaussianBlur(mask_np, (9, 9), 0)
mask = Image.fromarray(mask_np)
result = pipe(
prompt="a red dress, high quality",
image=image,
mask_image=mask,
strength=0.85, # 重绘幅度，越高改动越大
num_inference_steps=30
).images[0]
result.save("output.png")值得注意的是，官方的Inpainting模型专门在带掩码的数据上做过微调，对边缘融合的处理比基础模型加外部掩码好得多，能明显减少边界处的色块和纹理断裂。如果条件允许，优先选用专门的Inpainting权重。
三、常见问题排查与调优建议
实际操作中最常见的三类问题都可以通过参数和流程调整解决。第一类是掩码边缘有明显接缝，这通常是羽化不足或重绘幅度过低造成的，可以适当加大高斯模糊的核大小，或者把strength从0.5提升到0.8左右；如果接缝依然存在，考虑用“仅遮罩区域”的推理模式，让模型只对掩码区域去噪，从机制上避免全局重采样带来的色偏。
第二类是重绘内容与原图风格不一致，比如换了个物体但质感和光照对不上。这往往是因为提示词只描述了新内容，没有描述环境信息。解决方法是把背景的关键特征也写进提示词，例如“室内暖光”“胶片质感”等，同时配合较低的CFG Scale（7左右），避免模型过度遵从提示词而脱离原图氛围。另外，使用ControlNet的Canny或Depth控制图约束结构，也能显著提升重绘内容与原图的一致性。
第三类是掩码本身的定位不准，特别是自动分割得到的掩码可能包含多余区域。除了手工修正之外，还可以用多点点提示或者边界框加点的组合提示提升SAM的定位准确率；对于注意力掩码，则可以通过调整采样步数窗口（只在中间若干步应用掩码）来缓解编辑溢出。整体而言，掩码生成与区域重绘的组合流程可以概括为：分割定位、人工微调、羽化外扩、局部推理、风格约束，五个环节都做到位，编辑精度就能稳定达到生产可用的水平。
四、总结
编辑精度低不是模型能力不足，而是区域控制手段没有用对。掩码解决了“改哪里”的问题，区域重绘解决了“怎么改得自然”的问题。掌握不同掩码生成方式的适用边界，处理好潜空间融合、羽化、外扩这些细节，再针对接缝、风格漂移、大面积崩坏等问题有对应的调优手段，就能把AI图像编辑从“碰运气”变成可控的工程流程。随着SAM这类通用分割模型和DiffEdit这类无监督编辑方法的成熟，掩码制作的门槛还在不断降低，值得持续关注新方法在实际项目中的落地效果。