做动作迁移的同学大多遇到过这样的场景：把一段舞蹈姿态迁移到目标人物身上，单抽出任何一帧来看效果都还不错，但连起来播放就会明显闪烁——衣服纹理在帧间跳动，背景边缘忽隐忽现，人脸五官像在水面上漂。这不是模型能力不行，而是逐帧独立生成的天然缺陷。要让画面稳定下来，必须在训练目标或推理流程中引入时序一致性约束，让模型在生成第 t 帧时“看见”前面的帧。
为什么逐帧生成必然导致闪烁
大多数图像到图像的翻译模型（比如经典的 pix2pix、早期的 pose2image 结构）都是把一帧姿态图输入网络，输出一帧图像。如果把这个过程套到视频上，相当于对每一帧独立采样生成结果。而生成模型本身是随机映射，同一个姿态在不同帧中得到的纹理细节、颜色分布会存在微小差异。人眼对这种帧间差异极其敏感，哪怕每帧只有 1% 的像素不稳定，播放起来就是肉眼可见的噪声。
另一个来源是姿态输入本身。骨架关键点在相邻帧之间存在抖动（检测误差、量化误差），生成网络会忠实地放大这些输入扰动，输出端就表现为轮廓抖动。再比如风格迁移类任务中，噪声场的随机初始化会让每一帧的“风格”落点不同，纹理就会在帧间漂移。理解这些成因，才能对症下药：要么在损失函数层面约束帧间关系，要么在网络结构层面注入时序信息，要么在推理阶段做后处理平滑。
三类主流时序约束方案及其原理
第一类是光流约束。其核心思想是：如果生成结果在时间上是连贯的，那么第 t-1 帧到第 t 帧的生成图像之间的光流，应该与真实视频（或姿态图）之间的光流一致。典型的做法是引入一个预训练的光流网络（如 SPyNet、PWC-Net），把 warp 后的帧与当前帧做差，构成 warp loss。Vid2Vid 就是这一思路的代表工作，它同时约束生成帧 warp 之后与上一帧的差异，以及光流预测网络输出的掩码，效果非常显著。
第二类是特征层面的时序对齐。代表思路如 ECCV 2018 的特征对齐方法（同源风格迁移的 stabilizing 工作），它在 VGG 特征空间里计算相邻帧之间的变换矩阵，再把该变换应用回生成图像的像素空间，强制相邻帧遵守一致的几何变换。这类方法对纹理漂移特别有效，因为它约束的不是像素差，而是高层语义的稳定性。代价是需要计算 Gram 矩阵或协方差矩阵的特征分解，开销不小。
第三类是时序判别器。把单帧判别器换成接收连续多帧（比如 5 帧）作为输入的 3D 卷积判别器，让判别器学会区分“真视频片段”和“逐帧伪造的片段”。生成器为了骗过它，必须输出时间上连贯的结果。这种方案实现简单、泛化性好，缺点是判别器训练不稳定，需要仔细控制学习率，且对训练 batch 的帧采样策略有要求。
代码实战：给生成器加上时序损失
下面给出一个简化但可直接套用的训练片段，展示如何把 warp loss 和时序判别器结合起来。假设 G 是姿态驱动的生成器，D_t 是 3D 时序判别器，光流网络采用现成的 SPyNet。
import torch
import torch.nn.functional as F
# flow_net: 预训练光流网络，输入两帧输出光流 (B, 2, H, W)
# G: 生成器，输入姿态序列 (B, T, C, H, W)，输出图像序列 (B, T, 3, H, W)
# D_t: 时序判别器，输入 (B, 3, T, H, W)
def warp_loss(pred, pred_prev, pose, pose_prev, flow_net):
# 先从姿态图估计光流，作为伪真值流
flow = flow_net(pose_prev, pose)
# 用光流 warp 上一帧生成结果
pred_prev_warped = flow_warp(pred_prev, flow)
# warp 有效的区域计算 L1 差异
mask = (flow.abs().sum(dim=1, keepdim=True) > 0).float()
loss = F.l1_loss(pred_prev_warped * mask, pred * mask)
return loss
def flow_warp(x, flow):
B, C, H, W = x.size()
# 生成基础网格并按光流偏移
grid_y, grid_x = torch.meshgrid(torch.arange(H), torch.arange(W))
grid = torch.stack([grid_x, grid_y], dim=0).float().unsqueeze(0)
grid = grid + flow
grid_x = grid[:, 0] / (W - 1) * 2 - 1
grid_y = grid[:, 1] / (H - 1) * 2 - 1
grid = torch.stack([grid_x, grid_y], dim=1)
grid = grid.permute(0, 2, 3, 1) # (B, H, W, 2)
return F.grid_sample(x, grid, align_corners=True)
# 训练循环中的核心部分
def train_step(pose_seq, real_seq, G, D_t, flow_net, opt):
pred_seq = G(pose_seq) # (B, T, 3, H, W)
B, T = pred_seq.shape[:2]
pred = pred_seq.reshape(B * T, *pred_seq.shape[2:])
real = real_seq.reshape(B * T, *real_seq.shape[2:])
# 时序判别器：按序列输入，reshape 成 (B, 3, T, H, W)
d_fake = D_t(pred_seq.permute(0, 2, 1, 3, 4))
d_real = D_t(real_seq.permute(0, 2, 1, 3, 4))
loss_g_adv = F.softplus(-d_fake).mean() # 生成器对抗损失
# 光流 warp 损失：相邻帧逐对计算
loss_warp = 0
for t in range(1, T):
loss_warp = loss_warp + warp_loss(
pred_seq[:, t], pred_seq[:, t - 1],
pose_seq[:, t], pose_seq[:, t - 1], flow_net)
loss_warp = loss_warp / (T - 1)
loss_G = loss_g_adv + 10.0 * loss_warp # warp 损失权重需调参
opt.zero_grad(); loss_G.backward(); opt.step()
return loss_G.item()这段代码有几个细节值得注意。首先 warp 损失的权重要给得比较大（通常 5 到 20 之间），因为对抗损失本身波动大，权重不够时 warp 约束会被淹没。其次光流是从姿态图算的，这比从生成图算更稳定，因为生成图在训练早期质量很差，用它估流会引入噪声。最后，时序判别器的输入排列一定要正确，(B, C, T, H, W) 是 3D 卷积期望的格式，permute 弄反了整个约束就形同虚设，这是新手最常踩的坑。
推理阶段的平滑策略与方案选型
如果模型已经训练好、不方便重新训练，还可以在推理端补救。最简单的做法是历史信息融合：维护一个滑动窗口，把当前生成结果与前一帧 warp 后的结果做加权平均，权重可以依据光流置信度自适应调整。这种方法零训练成本，对轻微闪烁的改善立竿见影，缺点是快速运动区域会出现拖影，窗口大小需要根据动作幅度权衡。
更进一步可以把生成器改造成自回归形式：把上一帧的生成结果（或其编码）也作为输入的一部分，让网络显式地以历史帧为条件。推理时按顺序生成，每一帧都依赖前帧输出，天然具备连贯性。风险在于误差累积——前面某一帧崩了，后面会越错越远，所以实践中通常会混合少量真实上一帧（训练时）或在输入中注入小的随机扰动来增强鲁棒性。
方案选型上可以简单总结：训练资源充足、追求上限，用时序判别器加 warp loss 的组合，这是目前效果最稳的路线；只想轻微改善、不能重训，用推理端的滑动窗口融合；任务对几何稳定性要求高（比如纹理细腻的风格迁移），优先考虑特征层面的一致性对齐。三个方案并不互斥，实际项目里往往是组合使用，先上便宜的后处理验证收益，再决定要不要投入重训。
最后提醒一点评估方法：不要只看单帧指标如 FID 或 SSIM，它们对时序问题完全不敏感。评估动作迁移的连贯性要用 VBench 里的时序一致性指标，或者直接计算相邻帧的 CLIP 特征余弦相似度、光流误差，这些指标才能真正反映视频播放时的稳定程度。把评估指标改对，你才能知道自己的约束到底有没有生效。