动态场景生成里，评价模型好不好，除了单帧清晰度，时间轴上的稳定性同样关键。相邻两帧渲染出来如果边缘来回跳、纹理像水波一样漂，即使每一帧单独看都很精细，最终视频也基本不可用。这种问题在4D生成任务中通常被称作时序抖动。
有些人会把抖动归因于分辨率不够或者训练不充分，但实际观察会发现，即便把单帧PSNR拉高，抖动依然存在。更本质的原因是模型缺少跨帧运动先验。动态NeRF把场景压缩到时间条件网络，4D Gaussian Splatting则为每个高斯点学习位置、旋转、缩放随时间变化的属性。训练时如果只用逐帧重建损失，低纹理区域、遮挡边界和快速运动区域会出现多种可能解，模型可能在不同帧选择不同解，时间轴上就表现为高频跳变。
光流约束和运动平滑是两类互补方案。光流约束借助预训练光流估计器提供像素级对应关系，把帧间运动显式纳入监督；运动平滑则从变形场和轨迹层面限制高频变化。下面从成因、实现和调参几个角度展开。
一、为什么4D生成容易产生时序抖动
4D生成的核心是学习一个随时间演化的场景表示。以动态NeRF为例，输入包括空间坐标 x、观察方向 d 和时间 t，网络输出颜色与密度。为了表达运动，常见做法是引入变形场：先利用时间编码把观测点映射回规范空间，再查询静态场。4D Gaussian Splatting 的思路类似，只是把表示换成了高斯点集合，每个点的中心、协方差和不透明度都随时间变化。两类方法都会面临同一类优化难题：时间 t 上的连续信号只能通过离散帧监督，帧与帧之间的区域没有直接观测。
低纹理区域最典型。比如一面白墙或者皮肤区域，像素值几乎不随位移变化，光度损失对几像素的偏移不敏感，网络可以朝任意方向偏移而不被惩罚。遮挡边界则相反，前景和背景在相邻帧快速切换，像素值变化很剧烈，但梯度信号不稳定，模型容易在边界处产生闪烁。快速运动区域还存在运动模糊，单帧信息本身就不可靠。这些区域恰好与光流估计的困难区域重合，如果只靠重建损失，优化就会在这些地方来回震荡。
另一个容易被忽略的因素是时间编码的高频能力。很多实现使用高频正弦编码或哈希编码来表示时间维度，这让模型有能力拟合非常快的局部变化。这种表达能力在缺乏约束时反而会带来坏处：优化过程可能把噪声、光照变化或者视角微小波动都编码成几何抖动，而不是真正的运动。换句话说，时序抖动不只是误差，它往往是对不确定区域的任意插值结果。
二、光流约束如何嵌入训练过程
光流描述的是相邻两帧之间像素级位移。对渲染结果施加光流约束，思路很简单：训练时选两个时间相邻的渲染帧，用预训练光流模型估计它们之间的前向光流，然后把前一阵按照光流warp到后一帧，要求warp后的图像与后一帧尽可能接近。这等于告诉模型，在图像空间中物体的移动方向必须和光流估计结果一致。常用的光流估计器包括RAFT、GMFlow等，训练前通常冻结其权重，只作为伪标签生成器。
不过直接逐像素比较会引入明显误差。光流在遮挡区域不可靠，因为被遮挡的像素在一帧中存在，在另一帧中已经消失，强行warp会得到错误的外观。更稳的做法是同时计算前向光流和后向光流，再进行前后一致性检查。只有当某个像素的前向光流和后向光流在warp回原位后误差小于阈值时，才认为该像素的对应关系可信。这个遮罩可以作为损失权重，让模型只在高置信区域学习运动一致性。
下面是一个PyTorch风格的实现，展示如何用光流对两个渲染帧建立约束。实际工程中渲染帧通常由可微渲染器输出，光流图可以提前离屏提取，也可以在线调用光流模型。
import torch
import torch.nn.functional as F
def warp_by_flow(image, flow):
B, C, H, W = image.shape
grid_y, grid_x = torch.meshgrid(
torch.arange(H, device=image.device),
torch.arange(W, device=image.device),
indexing='ij'
)
grid = torch.stack((grid_x, grid_y), dim=2).float()
vgrid = grid + flow.permute(0, 2, 3, 1)
vgrid[..., 0] = 2.0 * vgrid[..., 0] / max(W - 1, 1) - 1.0
vgrid[..., 1] = 2.0 * vgrid[..., 1] / max(H - 1, 1) - 1.0
warped = F.grid_sample(image, vgrid, mode='bilinear', padding_mode='border', align_corners=True)
return warped
def flow_consistency_loss(render_t, render_t1, flow_fwd, flow_bwd, occ_mask=None):
warped_t1 = warp_by_flow(render_t, flow_fwd)
warped_t = warp_by_flow(render_t1, flow_bwd)
diff_fwd = (warped_t1 - render_t1).abs()
diff_bwd = (warped_t - render_t).abs()
if occ_mask is not None:
diff_fwd = diff_fwd * occ_mask
diff_bwd = diff_bwd * occ_mask
return diff_fwd.mean() + diff_bwd.mean()
工程实现里还有两个细节值得注意。一是光流分辨率不必和渲染分辨率完全一致，可以先用低分辨率光流监督运动大方向，再逐步提高分辨率，否则高分辨率光流边界处噪声很大。二是光流损失不要反向传播到光流模型，应使用 torch.no_grad 或预先缓存光流。光流约束的主要风险是过平滑，如果权重过大，快速动作会被拉向光流估计器的平均结果，丢失细节。因此通常把光流损失作为辅助项，而不是主监督。
三、运动平滑正则的设计要点
光流约束作用在图像空间，运动平滑正则则直接作用在场景表示空间。对动态NeRF变形场来说，可以约束相邻时间步的变形向量不能突变；对4D Gaussian Splatting来说，可以约束高斯点中心位置、旋转四元数和缩放向量在时间轴上的速度与加速度。这样做的目的是抑制时间轴上的高频噪声，让运动轨迹更接近真实物理运动。
运动平滑最常见的实现是对变形量或轨迹做一阶差分惩罚。例如，若 t 时刻某个高斯点的中心偏移为 offset_t，t+1 时刻为 offset_t1，t+2 时刻为 offset_t2，可以要求速度向量 offset_t1 - offset_t 与 offset_t2 - offset_t1 接近。这只是二阶平滑的一种形式，实际中还可以加入加速度惩罚、速度幅值惩罚，或者对一段轨迹做短时傅里叶变换，约束高频能量占比。
另一种有效做法是图拉普拉斯平滑。动态场景中许多物体内部点应该保持相对固定，比如人体躯干上的两个相邻点，它们不会突然分离。可以先构建空间近邻图，再限制相邻点在相邻时间步的位移差异。这种方法对非刚性运动尤其有用，因为它在局部保留了刚性假设，但又不要求全局刚性。
import torch
def velocity_smooth_loss(offsets_t, offsets_t1, offsets_t2, dt=1.0):
velocity_t = (offsets_t1 - offsets_t) / dt
velocity_t1 = (offsets_t2 - offsets_t1) / dt
accel = velocity_t1 - velocity_t
return accel.square().mean()
def local_rigidity_loss(centers_t, edges):
total_loss = 0.0
for i, j in edges:
diff_t = centers_t[i] - centers_t[j]
total_loss = total_loss + diff_t.square().mean()
return total_loss / len(edges)
运动平滑还可以和时间采样方式结合。训练时不一定要严格按均匀时间步采样，可以随机采样不同间隔的帧，比如同时采样间隔为1、2、4帧的样本，让模型在多个时间尺度上都保持连续。多尺度时序正则对缓慢运动和快速运动都有约束作用，比单一间隔更稳定。需要注意的是，过强的运动平滑会把快速动作抹平，尤其是球类碰撞、手势变化这类场景。实践中建议先固定光流约束权重，再从小到大地调整平滑系数，观察快速动作区域是否出现明显拖影。
四、训练调参与常见坑
光流约束与运动平滑的权重设置没有通用答案，但有几个经验区间。光流损失通常可以占总损失的 0.05 到 0.2 左右，如果光流估计器在目标场景上表现较好，可以适当增大。运动平滑损失一般要更小，建议从 0.001 到 0.01 开始尝试。训练前期可以让模型先充分拟合几何与外观，后期再逐渐加大时序正则，这样既能保证单帧质量，又能消除抖动。
评估时不要只看单帧渲染指标。两个模型可能单帧PSNR接近，但连续播放时差异很大。建议同时报告时序一致性指标，例如连续帧之间的LPIPS差值、光流误差，以及视频级别的FVD。更直观的方法是抽取几段固定视角的渲染序列，逐帧播放检查边缘闪烁、纹理漂移和运动重影。很多波动在单帧图像中完全不可见，只有视频序列才能暴露。
常见的坑有三个。第一，直接把光流损失加到高分辨率渲染图上，边界处光流不准，反而引入噪声。第二，没有遮挡掩码，模型在遮挡区域学到错误的warp对应关系。第三，运动平滑权重过大，导致动态目标像果冻一样弹性滑动。解决思路分别是多尺度光流监督、前后向一致性检查、以及动态调整平滑系数。如果训练过程中发现快速动作被明显压制，应立即降低平滑损失权重，或者只对低频运动分量做约束。
总体来说，时序抖动不是靠单一损失就能彻底解决的问题。光流约束提供像素级运动监督，运动平滑提供表示空间连续性先验，两者结合可以覆盖大多数动态场景的抖动来源。实际项目中还应配合良好的数据采样节奏、稳定的渲染分辨率和合理的评估方式，才能得到时间上稳定、视觉上自然的4D生成结果。