用Stable Diffusion画连续漫画或系列插画时,最大的痛点往往不是画质,而是角色长相不固定:上一张图是瓜子脸,下一张就变成了圆脸,发色瞳色也随时漂移。要解决这个问题,目前社区里最常用的两套方案分别是IP-Adapter FaceID和Reference-only,它们都不需要训练LoRA,只要一张参考图就能把人物特征"钉"住。本文将从安装配置到参数调优,完整讲解这两种方案的用法与取舍。

IP-Adapter FaceID:靠人脸特征向量锁定长相
IP-Adapter FaceID的工作原理和普通的IP-Adapter不同。普通版本的IP-Adapter使用CLIP图像编码器提取图像的整体语义特征,而FaceID版本改用了人脸识别模型(基于InsightFace的buffalo_l模型)来提取人脸的嵌入向量。人脸识别模型天生就是为"区分这是谁的脸"而设计的,所以它提取的特征向量对身份的描述能力远强于CLIP,这也是FaceID系列相似度更高的根本原因。
安装步骤如下:在扩展列表中安装controlnet扩展(如果还没装),然后下载模型文件。需要的文件包括ip-adapter-faceid-plusv2_sd15.bin和ip-adapter-faceid-plusv2_sd15_lora.safetensors,前者放到 extensions\sd-webui-controlnet\models 目录(或 models\ControlNet 目录,取决于你的版本),后者放到 models\Lora 目录。下载的模型压缩包如果解压后看到多个文件,注意别放错位置,放错目录会导致下拉列表里找不到对应模型。
配置时打开ControlNet面板,勾选启用,选择单张控制类型为IP-Adapter FaceID,预处理器选择ip-adapter_face_id_plusv2,模型选择下载好的faceid模型。Control Weight建议从0.8开始调,数值越高人物越像参考图,但也越容易出现面部僵硬;结构控制比例(FaceID v2特有)建议保持在0.7到1.0之间。如果你的底模是SD1.5系列,记得同时启用对应的LoRA,提示词里写上 <lora:ip-adapter-faceid-plusv2_sd15_lora:0.6>,权重0.5到0.7比较稳妥,拉太高会让画面糊掉。
Reference-only:免模型参考生成的另一条路
Reference-only是ControlNet扩展自带的一种特殊模式,严格来说它不是ControlNet模型,而是一种生成方式的改造。启用后,模型会在采样过程中把参考图的注意力特征注入到当前生成任务里,相当于让扩散模型"看着"参考图画。它的优势是完全不需要额外下载模型文件,只要你的sd-webui-controlnet扩展版本较新,在控制类型下拉框里就能直接找到Reference-only选项。
使用方法很简单:把参考图上传到ControlNet的输入框,控制类型选Reference-only,然后关注两个核心参数。Style Fidelity(风格保真度)决定参考图的影响方式,数值接近1时参考图的人物特征和风格都会被强烈带入,数值接近0.5以下则更多只影响构图和姿势;预处理器如果选Reference_adain+attn,效果通常比单独的attn更稳定。写提示词时仍然要完整描述人物特征,比如发型、瞳色、服装,Reference-only会以提示词为骨架、参考图为修正,两者配合才能得到理想结果。
Reference-only的典型应用场景是姿势迁移加人物保持:你有一张角色立绘和一张姿势参考图,可以把立绘放进Reference-only,同时用OpenPose控制姿势,两个ControlNet单元并行工作。这种组合在画同一角色的不同动作时非常实用,而且因为不依赖人脸识别,对侧脸、遮挡、卡通脸的兼容性也比FaceID更好一些。
两种方案对比与组合技巧
单从人脸相似度看,IP-Adapter FaceID明显更强,因为它直接对身份向量做约束;Reference-only更像一种软性引导,长相会有七八分像,但更容易保持画面的自然感。实际项目中可以按下表选择:
| 维度 | IP-Adapter FaceID | Reference-only |
|---|---|---|
| 人脸相似度 | 高,接近身份级复刻 | 中等,风格化近似 |
| 额外模型 | 需要下载并放到指定目录 | 无需下载 |
| 对卡通脸的适配 | 一般,偏写实更稳 | 好,二次元表现出色 |
| 姿势控制 | 需配合OpenPose | 可配合OpenPose |
想要最大化一致性,推荐把两个单元叠加使用:单元0用IP-Adapter FaceID权重0.7锁定五官,单元1用Reference-only权重0.5左右补充整体气质和画风。另外再配合一张固定种子加上区域提示词控制服装,基本可以做到同一角色在不同场景下的稳定输出。如果还是出现脸部漂移,优先检查参考图质量——正面、光线均匀、五官无遮挡的单人头像效果最好,多人合照或大角度侧脸都会显著拉低识别精度。
最后提醒一点,SD1.5和SDXL对应的FaceID模型版本不通用,下载时要看清文件名里的sd15或sdxl后缀,放错版本会出现报错或直接不生效。配置好之后建议先用固定种子做几组参数对比,找到适合你底模的最佳权重组合,再投入正式出图。
IP-Adapter角色一致性Stable Diffusion修改时间:2026-09-03 02:20:35