4D生成技术可以理解为在三维空间坐标的基础上，额外引入时间维度，对动态场景或物体进行连续建模。它要同时回答两个问题：每个时刻的几何形态是否准确，以及这些形态在时间推移时是否平滑一致。传统三维生成任务通常只关注静态网格或单帧辐射场，而四维生成必须处理运动序列中帧与帧之间的依赖关系，否则即便每一帧都独立生成得很精细，连续播放也会出现表面抖动和纹理漂移。
一、从静态三维到四维：时间一致性为何难以保证
静态三维生成近年来取得了显著进展，无论是基于隐式神经表示的NeRF，还是基于离散高斯原语的3D Gaussian Splatting，都已经能够从稀疏视角合成出高保真图像。但是，当把这类方法直接扩展到动态场景时，问题会立刻暴露出来：如果对每一帧分别进行重建，帧与帧之间没有共享运动先验，那么每个时刻的几何更新都是独立的，极小的随机性就会累积成明显的帧间抖动。
从技术层面看，造成动态不连续的原因主要有三点。第一是优化过程的随机性，例如高斯泼溅的增删策略和辐射场采样点选择都可能在不同帧产生不同结果；第二是缺乏帧间对应关系，模型不知道当前帧的某个顶点或高斯原语在下一帧应该移动到什么位置；第三是隐式神经场对时间编码的敏感度不足，直接把时间拼接到输入向量中，很难学习到高频运动细节。这也是为什么在四维生成中，必须显式引入运动场、变形场或光流监督，而不只是堆叠单帧模型。
因此，时空一致性可以拆解为三个层次：几何一致性保证形状在相邻帧之间不发生突变，外观一致性保证纹理和颜色在运动过程中保持稳定，运动连续性则要求物体轨迹平滑且符合物理直觉。任何只满足单一帧质量的方案，都不足以称为完整的4D生成。
二、时空联合建模的三种主流技术路线
目前四维生成的技术路线大致可以归为三类。第一类是基于视频扩散模型先生成动态多视角视频，再通过重建管线提取可渲染的4D表示。这类方法利用扩散模型对视频时空结构的理解能力，先生成一段一致的多视角运动序列，然后使用类似动态重建的方式得到隐式或显式表示。优势是生成多样性好，缺点是后续重建容易引入误差，且难以实时控制。
第二类是将神经辐射场从静态扩展到动态。具体做法是在NeRF的输入中增加时间变量，并使用傅里叶特征或哈希编码对时间进行高频映射，让网络能够表达快速运动。例如同时输入空间坐标x,y,z和时间标量t，网络输出颜色和密度。为了使时间输入不再被网络当作低频信号忽略，通常需要先对时间做位置编码。下面是一段简化的时间编码实现：
import torch
import math
class TimeFourierEncoder:
def __init__(self, input_dim=1, num_frequencies=6):
self.num_frequencies = num_frequencies
def encode(self, t):
encodings = [t]
for i in range(self.num_frequencies):
freq = 2.0 ** i * math.pi
encodings.append(torch.sin(freq * t))
encodings.append(torch.cos(freq * t))
return torch.cat(encodings, dim=-1)
time_input = torch.linspace(0, 1, steps=8).unsqueeze(-1).unsqueeze(0)
encoder = TimeFourierEncoder()
time_features = encoder.encode(time_input)
print(time_features.shape) # [1, 8, 13]
第三类是基于三维高斯泼溅的动态扩展，即4D Gaussian Splatting。相比隐式场，显式高斯原语更适合实时渲染，但需要额外为每个高斯原语预测随时间变化的位移、旋转和缩放。常见做法是维护一个可学习的变形网络，把时间作为输入，输出每个高斯的变形参数。这类方法在渲染速度上优势明显，但在处理拓扑变化较大或遮挡关系复杂的运动时仍然面临挑战。
三、帧间约束与损失函数设计：让运动更平滑
仅有重建损失并不能保证生成结果的时空一致性。模型完全可能对每一帧都过拟合到输入观测，却在帧间产生跳跃。为了解决这个问题，需要引入额外的约束项来规范时间维度上的行为。最常见的做法是估计相邻帧之间的光流或运动场，然后要求前一帧特征经过扭曲后与后一帧特征保持一致。这种时间一致性损失直接惩罚了帧间对应位置的差异，能显著减少闪动。
另一个有效约束是总变分正则化，它作用于动态辐射场或高斯参数的时间维度，抑制相邻时间步之间的高频噪声。对于显式高斯表示，还可以约束同一高斯原语在相邻帧的位移量，避免运动幅度异常。下面是一个简化损失函数示例，展示了如何组合像素级损失、时间一致性损失和总变分项：
def temporal_consistency_loss(x_t, x_t1, flow_t, alpha=0.5):
warped_x_t = warp(x_t, flow_t)
pixel_loss = torch.abs(warped_x_t - x_t1).mean()
gradient_loss = torch.abs(gradient(warped_x_t) - gradient(x_t1)).mean()
return alpha * pixel_loss + (1 - alpha) * gradient_loss
def total_variation_loss(field):
diff_d = torch.abs(field[:, :, 1:, :, :] - field[:, :, :-1, :, :]).mean()
diff_h = torch.abs(field[:, :, :, 1:, :] - field[:, :, :, :-1, :]).mean()
diff_w = torch.abs(field[:, :, :, :, 1:] - field[:, :, :, :, :-1]).mean()
return diff_d + diff_h + diff_w
此外，还可以加入感知损失或运动先验损失。感知损失比较的是高层特征而不是像素值，对轻微位移更鲁棒；运动先验损失则利用预训练的光流网络提供监督，帮助模型学习合理的帧间对应关系。实践中的损失权重需要根据数据集和表示方式调整，过高的一致性权重会导致运动被过度平滑，丢失细节，过低则无法消除闪动。
四、从单目视频到4D资产：一个可落地的生成流程
很多四维生成任务是从单目视频出发，希望生成一个可以从任意视角观看并随时间播放的动态资产。完整的流程通常包括：输入视频、相机位姿估计、动态场景初始化、时空联合优化以及最终渲染。其中相机位姿估计可以使用COLMAP等工具完成，对于运动幅度较大的物体，还需要结合目标分割和背景去除，避免背景干扰前景运动。
在得到相机轨迹和初始点云后，可以选择动态NeRF或4D高斯泼溅作为表示。训练阶段会在每一个迭代中采样一批时间和视角，渲染对应图像，计算重建损失和时间一致性损失。下面是一个简化的训练循环，展示了关键步骤：
for epoch in range(num_epochs):
for batch in dataloader:
images, times, poses = batch
optimizer.zero_grad()
rendered, dynamic_field = model(images, times, poses)
recon_loss = torch.nn.functional.mse_loss(rendered, images)
t_loss = temporal_consistency_loss(
dynamic_field[:, :, t_idx],
dynamic_field[:, :, t_idx + 1],
flow_field
)
total_loss = recon_loss + 0.1 * t_loss
total_loss.backward()
optimizer.step()
训练完成后，动态资产可以导出为常见的动画网格或高斯泼溅格式，并在游戏引擎或网页端进行实时渲染。实际部署时还需要注意存储与传输成本，因为4D表示相比静态三维会带来成倍的参数量。常见的优化方式包括对时间维度进行压缩、使用低秩分解或关键帧插值，以减少内存占用。
五、评估指标与未来演进方向
评估四维生成质量比静态三维更加困难。目前业界通常会结合图像质量指标如PSNR、LPIPS和运动质量指标如FVD来衡量时间一致性，但这类指标并不完全反映人类视觉对动态连贯性的敏感度。几何层面的帧间误差和光流误差能补充一些信息，但仍缺少统一的基准。建立一个包含复杂运动、遮挡和材质变化的标准4D生成评测集，是推进该方向的重要工作。
未来四维生成技术会朝着更可控、更实时和更强泛化的方向发展。例如结合物理仿真，让生成的运动符合质量守恒和碰撞约束；利用大语言模型或多模态提示直接控制运动语义；以及研究更快的高斯变形表示，让动态资产生成从离线走向在线。随着扩散模型、Transformer和显式场景表示的进一步融合，时空一致的三维动画生成有望在数字人、影视预演和交互式娱乐中成为常态化工具。