Stable Video Diffusion（简称SVD）在文生视频和图生视频任务上表现出色，但实际跑过的人几乎都遇到过同一个问题：生成的视频存在明显闪烁。具体表现为相邻帧之间的色彩跳变、纹理抖动、物体边缘忽明忽暗，单看每一帧质量都不错，连起来播放就像老式 CRT 电视的信号干扰。这种闪烁的根源在于扩散模型的去噪过程缺乏显式的时序约束，本文将围绕两个核心手段——帧间一致性损失和光流对齐，详细讲解如何压制闪烁，让输出视频更连贯。
一、SVD视频闪烁的根本原因分析
要解决问题，先要理解闪烁从哪来。SVD 的去噪过程是在 latent 空间逐帧进行的，虽然 Temporal Attention 层在架构上把多帧信息串了起来，但训练目标本身仍然是逐帧的噪声预测误差。也就是说，模型只关心“这一帧去噪得准不准”，并不直接关心“这一帧和上一帧是否一致”。
其次，SVD 的初始噪声通常是逐帧独立采样的。即便有 micro-conditioning 控制帧间条件，独立噪声之间天然没有相关性，去噪轨迹发散后，帧与帧之间的细微差异就会体现为亮度抖动和色块漂移。噪声预测误差在 0.01 这个量级上的波动，反映到像素域可能就是肉眼可见的闪烁。
最后一个原因是推理阶段的采样策略。默认的调度器（如 EulerDiscreteScheduler）在多帧联合去噪时，各帧独立执行同样的更新步长，帧间误差没有被约束在同一个“节拍”上，误差累积到后期就会呈现周期性抖动。理解了这三点，就能明白为什么单纯的调 seed 或者换采样步数只能缓解、无法根治闪烁。
二、帧间一致性损失的设计与实现
帧间一致性损失的核心思想很直接：既然模型不知道相邻帧要一致，那就在训练或微调阶段显式地把这个要求写进损失函数。常见的做法有三种，分别作用于像素域、latent 域和特征域。
像素域的一致性损失最直观，即约束相邻帧在像素层面的差异。但直接用 L1 会把运动也当成惩罚对象，导致视频“冻结”成幻灯片。所以实践中通常结合运动掩码，只惩罚非运动区域：
import torch
import torch.nn.functional as F
def temporal_consistency_loss(frames, flow_mag, alpha=0.5):
"""
frames: [B, T, C, H, W] 生成的视频帧序列
flow_mag: [B, T-1, H, W] 帧间光流幅值，用于区分运动区域
"""
# 运动掩码：光流幅值小的区域视为静态区域
motion_mask = (flow_mag < 0.5).float().detach()
diff = (frames[:, 1:] - frames[:, :-1]).abs().mean(dim=2) # [B, T-1, H, W]
# 只对静态区域施加一致性惩罚
loss = (diff * motion_mask).sum() / (motion_mask.sum() + 1e-6)
return alpha * losslatent 域的一致性损失则更适配 SVD 这类 latent diffusion 架构。在去噪过程中，可以直接约束相邻帧的 latent 预测 x0 之间的差异，这样不需要经过 VAE 解码，计算开销更小，而且约束发生在模型内部表示层面，效果往往更稳定。特征域的做法是利用预训练的特征提取器（如 VGG 或 DINO），在感知特征空间中度量帧间差异，属于感知层面的平滑约束，对纹理抖动的抑制效果明显优于像素级 L1。
需要注意权重系数的调校。一致性损失的权重过大时，视频会过度平滑，动态内容会被抹掉，人物动作变得迟滞僵硬；权重过小则闪烁压不住。经验值是让一致性损失占总损失的 5% 到 15% 之间起步，再根据输出效果微调。另外强烈建议对一致性损失做梯度截断，防止个别帧的异常差异在反向传播时干扰主去噪损失的收敛。
三、光流对齐：让运动补偿参与帧间监督
帧间一致性损失只解决了“静态区域要一致”的问题，但视频的核心是运动，动态区域的一致性必须借助运动信息才能正确约束。光流对齐的思路是：先用光流模型估计相邻帧之间的运动场，再把前一帧按运动场 warp 到当前帧的视角，这样 warp 后的帧与当前帧在理想情况下应该是同一个画面，两者之间的差异就是纯粹的闪烁残差。
光流估计推荐使用 RAFT 或其轻量版本，精度和速度的平衡比较好。下面给出一个完整的光流对齐一致性计算流程：
import torch
import torch.nn.functional as F
def flow_warp(feature, flow):
"""
feature: [B, C, H, W] 前一帧特征
flow: [B, 2, H, W] 光流场 (dx, dy)
"""
B, C, H, W = feature.shape
# 生成基础网格坐标
grid_y, grid_x = torch.meshgrid(
torch.arange(H, device=feature.device),
torch.arange(W, device=feature.device),
indexing='ij'
)
grid_x = grid_x.unsqueeze(0).expand(B, -1, -1).float()
grid_y = grid_y.unsqueeze(0).expand(B, -1, -1).float()
# 目标采样坐标 = 基础坐标 + 光流偏移
sample_x = (grid_x + flow[:, 0]) / (W - 1) * 2 - 1
sample_y = (grid_y + flow[:, 1]) / (H - 1) * 2 - 1
grid = torch.stack([sample_x, sample_y], dim=-1) # [B, H, W, 2]
# 双线性插值采样，越界区域补零
return F.grid_sample(feature, grid, mode='bilinear',
padding_mode='zeros', align_corners=True)
def flow_aligned_consistency(prev_frame, curr_frame, raft_model):
# 估计前一帧到当前帧的光流
with torch.no_grad():
flow = raft_model(prev_frame, curr_frame)
# 将前一帧按光流对齐到当前帧视角
prev_aligned = flow_warp(prev_frame, flow)
# 对齐后的残差即为闪烁成分
return F.smooth_l1_loss(prev_aligned, curr_frame)这段代码里有几个容易踩坑的细节。第一，grid_sample 的坐标系归一化问题，align_corners=True 和 False 的行为差异在边界像素上很明显，务必和光流模型的输出约定保持一致，否则对齐会出现半像素偏移，残差里混入错位误差。第二，光流估计本身要放在 torch.no_grad() 下执行，RAFT 不需要参与梯度回传，否则显存会爆炸。第三，遮挡区域 warp 后是无效内容，应该结合前后向光流的一致性检测遮挡，对遮挡区域不施加惩罚，否则模型会学出“抹除运动物体”的错误倾向。
四、推理阶段的免训练优化与综合建议
如果不具备微调条件，推理阶段也有一些实用手段能明显减轻闪烁。首先是噪声初始化的改进：把逐帧独立噪声换成共享基础噪声加逐帧小幅度扰动，从源头提升帧间相关性，这是成本最低、收益最直接的一招。其次是跨帧噪声共享策略，在去噪过程中让部分去噪步共享同一份噪声残差，等价于隐式的时序一致约束。
另一个值得尝试的方案是 EBSynth 风格的后处理：对生成视频做光流传播，把关键帧的风格和色彩沿运动轨迹传播到全序列，能有效压制色块漂移类闪烁。这类方法不动模型本身，适合快速出片的场景。
综合来看，最佳实践是组合拳：训练侧采用 latent 域一致性损失加光流对齐残差的加权组合，推理侧配合共享噪声初始化。微调数据建议选用运动幅度中等的真实视频片段，运动过于剧烈的样本会让光流估计噪声过大，反而污染一致性监督信号。三个关键权重要分开调，先固定一致性权重调光流对齐权重，确认闪烁明显减轻且动态不损失后，再微调总权重。按这套流程做下来，SVD 输出视频的时序稳定性会有质的提升，画面闪烁基本可以压制到肉眼难以察觉的水平。