AnimateDiff 解决了文生图模型无法直接生成连贯视频的问题，但它本身只负责让画面"动"起来，并不能精确控制人物的动作和场景的结构。想要让生成的人物按照预设的骨骼姿势运动，或者让视频中的物体保持稳定的轮廓，就需要借助 ControlNet 的条件控制能力。把 AnimateDiff 和 ControlNet 组合起来使用，是目前 AI 视频创作中最主流也最可控的方案。
一、两者的分工与组合原理
要理解这套组合为什么有效，先要弄清楚各自负责什么。AnimateDiff 的核心是插入到基础模型 UNet 中的时序模块（Motion Module），它在去噪的每一步都会让相邻帧之间交换信息，从而保证画面在时间维度上的连贯。它不关心画面的内容结构，只负责让内容稳定地变化。
ControlNet 则是另一条思路：它复制了基础模型编码器的一部分结构，接收一张额外的条件图（比如骨骼图、深度图、边缘图），把条件信息注入到去噪过程中，从而约束每一帧画面的构图和姿态。单帧的 ControlNet 只管一帧，但在 AnimateDiff 的管线里，条件图是按帧提供的，每一帧都有对应的骨骼或深度输入，两者叠加后就能得到"既连贯又听话"的视频。
组合时有一个关键点：ControlNet 的控制强度（strength）和 AnimateDiff 的运动强度需要互相配合。控制太强会让动作僵硬、帧间过渡不自然；控制太弱则人物动作会偏离骨骼预设，出现肢体漂移。实际使用中一般把 ControlNet 强度设在 0.6 到 0.9 之间，再根据预览效果微调。
二、三种控制方式的特点与选择
1. 骨骼控制（OpenPose）
骨骼控制是最常用的方式，用 OpenPose 从参考视频中提取人物的关节骨架，生成一组由点和线组成的骨骼序列图。它的优势在于只约束人体姿态，不约束外观细节，因此模型在服装、发型、背景风格上有很大的自由度，非常适合做舞蹈、动作模仿类视频。
需要注意骨骼提取的质量直接影响最终效果。遮挡、快速动作、多人重叠都可能导致骨架识别错误，建议先用 OpenPose Editor 手动修正明显的错帧。另外手部细节建议启用 hand 模式，否则生成的人物手部容易崩坏。
2. 深度控制（Depth）
深度控制通过 MiDaS 或 Depth Anything 模型提取画面的深度图，约束的是空间结构和透视关系。它不局限于人物，任何物体、场景都适用，因此在做镜头运动（推拉摇移）、场景漫游类视频时效果远好于骨骼控制。比如你想让镜头缓缓推向一座建筑，只需要对深度图做逐帧缩放，生成的视频就会呈现真实的推进感。
深度控制的缺点是对纹理和细节没有约束力，画面中同类物体可能出现纹理跳变，需要配合较高的上下文帧数来缓解。
3. 边缘控制（Canny / Lineart）
边缘控制提取画面的轮廓线，约束力最强，几乎能完整保留原始视频的构图和线稿结构，常用于视频重绘（Video-to-Video）和风格迁移。它的缺点也很明显：约束太死，模型自由度低，生成结果容易保留原图的瑕疵，且大动作时轮廓抖动会被忠实还原。
一般建议先用较宽松的 Canny 阈值配合 0.5 左右的低强度，观察画面是否死板，再逐步收紧。三种方式的对比可以参考下表：
| 控制方式 | 约束对象 | 适用场景 | 自由度 |
|---|---|---|---|
| 骨骼 OpenPose | 人体姿态 | 舞蹈、动作模仿 | 高 |
| 深度 Depth | 空间结构 | 运镜、场景漫游 | 中 |
| 边缘 Canny | 整体轮廓 | 视频重绘、风格迁移 | 低 |
三、ComfyUI 中的搭建流程
以骨骼控制为例，在 ComfyUI 中搭建完整工作流的步骤如下。先确认已安装 AnimateDiff Evolved 和 ControlNet Aux 两个自定义节点包，并准备好对应的 control_sd15_openpose 控制模型文件放入 models 目录。
工作流连线顺序： 1. CheckpointLoaderSimple 加载基础模型（如真实系或动漫系 SD1.5 模型） 2. 帧率与帧数：AnimateDiffLoaderV1 设置 context_length 16、帧率 8 3. VideoLoadImages 加载参考视频并抽帧 4. OpenposePreprocessor 处理每一帧，输出骨骼序列 5. ControlNetApplyAdvanced 将骨骼条件应用到 Latent 6. KSampler 采样步数 25，CFG 7 7. VideoCombine 输出视频
提示词的写法也有讲究。由于骨骼控制只管姿态，提示词需要明确描述人物的外观特征（服装、发型、体型），否则同一骨架在不同帧可能生成外观不一致的人物。建议开启 FreeU 或 AD-ClipSkip 相关增强节点来提升帧间一致性，必要时用 IPAdapter 锁定参考形象。
显存方面，16 帧上下文的 SD1.5 工作流在 8GB 显卡上可以跑通，如果爆显存，可以把上下文长度降到 8，或者使用 Latent 尺寸更小的分块生成策略。生成 3 秒 24 帧的视频建议分批渲染再用视频软件拼接，避免上下文窗口过长导致动作漂移。
四、常见问题与调参思路
第一个常见问题是动作漂移，也就是人物动作逐渐偏离骨骼预设。这通常是 ControlNet 强度太低或者 AnimateDiff 运动模块与基础模型不匹配导致的，优先确认 Motion LoRA 与基础模型版本兼容，再把控制强度提升到 0.8 以上测试。
第二个问题是画面闪烁，帧与帧之间的纹理、色彩不稳定。可以尝试提高 CFG 到 7.5 以上、降低采样步数到 20，或者在 ControlNet 预处理器里开启平滑选项。深度控制场景下的闪烁，多数是因为深度图本身的噪声，换用 Depth Anything 重新提取往往立竿见影。
第三个问题是生成结果过于死板，这多半发生在边缘控制场景。降低控制强度、放宽 Canny 的低阈值（比如设为 70）、或者混合使用骨骼加深度双条件，都能在保持结构的同时给模型留出发挥空间。多条件叠加时注意各控制强度总和不要过高，否则画面会失去细节层次。
掌握这三种控制方式的特性后，大部分 AI 动画需求都能找到对应的解法：人物动作用骨骼，镜头运动用深度，整体重绘用边缘。先从短片段、低分辨率开始验证流程，确认稳定后再提高分辨率和帧数，是性价比最高的实践路径。
AnimateDiffControlNet动画生成控制修改时间：2026-09-08 04:48:32