Vidu 的参考图生视频能力，让视频生成从纯文本驱动转向了图像加文本的双重条件控制。你可以先准备一张角色定妆照或场景概念图，模型会从这张图中提取脸部特征、服装纹理、环境结构等信息，再根据提示词描述的运动和镜头变化生成连续画面。这种方式特别适合短剧分镜、产品展示、角色动画预览等需要保持视觉一致性的创作场景。
一、参考图生视频的底层工作流程
传统文生视频模型主要依赖文本嵌入，角色长相、服装和场景布局由文本描述的模糊空间决定，因此每次生成都像重新选角。参考图生视频则把参考图作为额外条件信号，与文本提示词共同参与扩散模型的去噪过程。模型首先通过图像编码器把参考图转换为特征向量，这些向量保留了身份、纹理和空间结构信息，然后在生成每一帧时用交叉注意力或条件归一化机制，把图像特征注入到视频潜在空间。
在扩散采样阶段，模型从随机噪声出发，逐步预测并去除噪声。每一次去噪不仅要满足文本语义，还要让生成的像素与参考图特征保持一致。具体来说，参考图特征会约束脸部关键点、服装颜色和场景轮廓，而文本提示词负责驱动动作、镜头运动和光影变化。两者相互配合，就能在保留参考图视觉信息的同时生成动态画面。
与第三方插件不同，Vidu 原生支持参考图条件，不需要额外训练 LoRA 或安装 ControlNet。你只需要在生成前上传参考图，模型会自动完成特征提取和条件融合。对于多张参考图，系统通常还会计算它们之间的对应关系，以便在生成过程中进行插值和视角补充。这也是为什么即使提示词写得比较简短，只要参考图清晰，角色和场景仍然能被有效锁定。
# 概念示例：参考图生视频的条件输入结构
condition = {
"reference_image": "character_ref.png",
"prompt": "角色缓慢转头看向镜头，保持相同发型和服装",
"motion_strength": 0.6,
"duration": 4.0,
"seed": 20240815
}
frames = vidu_generate(condition)
二、Vidu参考图生视频的详细操作步骤
进入 Vidu 创作页面后，先选择参考图生视频或图生视频模式。第一步是上传参考图，建议使用 PNG 或 JPG 格式，分辨率不低于 1024 像素，人物面孔完整、五官清晰。上传后系统会显示缩略图预览，此时不要急于生成，先检查参考图是否被完整识别，尤其是边缘细节和颜色信息。
第二步是编写提示词。提示词应包含五个关键模块：主体描述、动作描述、场景描述、镜头描述和光影描述。参考图已经锁定了主体和场景的静态信息，所以提示词要把重点放在动态变化上。例如，不要重复描述角色的头发颜色，而是写角色如何运动、背景如何变化、镜头如何移动。
第三步是调节生成参数。常见参数包括运动幅度、生成时长、分辨率和随机种子。运动幅度较低时，画面更接近参考图的静态构图；运动幅度较高时，镜头和动作更丰富，但角色漂移风险也会增加。生成时长建议从 3 到 5 秒开始测试，确认一致性后再延长到 8 秒或 10 秒。
| 参数名称 | 作用 | 建议范围 |
|---|---|---|
| 运动幅度 | 控制动作和镜头变化强度 | 0.3 到 0.7 |
| 生成时长 | 决定视频长度 | 3 到 8 秒 |
| 随机种子 | 固定生成结果，便于复现 | 任意整数 |
| 提示词强度 | 控制文本对画面的影响权重 | 0.5 到 1.0 |
第四步是点击生成并等待排队。生成完成后，建议一次生成 2 到 4 个候选结果，再从中挑选动作连贯、细节保留最好的版本。如果发现局部错误，可以固定随机种子后微调提示词，而不是完全重写。
主体: 一位穿深蓝色风衣的短发女性 动作: 从画面右侧走到左侧，中途转头看向镜头 场景: 保持参考图中的红砖墙和柔和日光 镜头: 中景，轻微跟随
三、提升角色与场景一致性的调优技巧
参考图的质量直接决定一致性上限。尽量选择正面或半侧面、光线均匀、无遮挡的图片作为角色参考。如果参考图中人物戴口罩、戴墨镜或手部遮挡脸部，模型可能无法准确提取身份特征，生成结果容易出现五官漂移。场景参考图则应包含足够的环境信息，避免大面积空白或过度虚化。
提示词中要明确排除不希望出现的变化。负向提示词可以写角色变形、服装改变、面部模糊、场景错位、多出肢体等。这一步相当于给模型划定禁区，减少生成过程中的随机扰动。很多创作者忽略了负向提示词，导致角色衣服颜色在视频中来回变化。
如果 Vidu 支持多参考图，可以上传同一角色的正面、侧面和背面图，并分别标注参考权重。这样做能显著提升人物转身或侧脸时的稳定性。对于场景，可以额外上传一张不同角度的环境图，让模型理解空间结构，避免背景像贴纸一样滑动。
正向提示词: 保持参考图角色外观不变，人物自然眨眼，背景路灯逐渐亮起 负向提示词: 角色变形、服装改变、面部模糊、场景错位、多出肢体
四、常见问题与避坑指南
生成结果中最常见的问题是角色肤色或发型出现偏差。这通常由参考图颜色偏差或提示词中的干扰词引起。解决方法是提高参考图权重，并在提示词中明确写保持参考图肤色和发型不变。如果偏差仍然明显，可以尝试重新裁剪参考图，减少背景干扰。
另一个高频问题是场景视角跳跃。参考图只提供了单个视角，当镜头旋转或推进时，模型需要补全看不到的区域，这时背景容易产生扭曲。此时应降低运动幅度，或者在提示词中限定镜头运动方式，例如只做轻微推近，不做环绕。
动作幅度过大也会破坏一致性。运动幅度设置超过 0.7 时，角色可能做出参考图中不存在的动作，导致肢体变形或服装褶皱错误。建议从 0.4 左右开始测试，逐步增加。同时固定随机种子进行对比，才能判断是参数问题还是提示词问题。
最后，不要把参考图生视频当成一键出片的工具。它更适合作为一致性控制的基础，后续仍然需要剪辑、配音和局部修复。把参考图、提示词和参数三者看作一个整体调参系统，才能稳定产出符合预期的视频角色与场景。