深度估计模型在逐帧处理视频流时，由于缺乏帧间的时序关联，每一帧的预测结果往往是独立的。这种独立性导致即使在相机微小运动的情况下，模型对同一物体表面的深度预测值也会发生剧烈波动，产生视觉上的画面抖动与闪烁。
为什么深度估计会产生帧间抖动？
造成这种现象的根本原因在于卷积神经网络的特征提取过程对输入像素的微小变化极其敏感。光照条件的改变、传感器噪声以及运动模糊，都会使得同一空间点在不同帧上的特征向量产生偏移。由于网络通常依赖局部特征进行单目深度推理，这种特征层面的微小偏移会直接导致输出深度值的连续跳变。
此外，现有的单目深度估计网络往往依赖庞大的感受野来推断场景的尺度信息。感受野边缘的像素在不同帧中的权重分布可能不一致，这进一步放大了预测结果的跳变幅度。特别是在物体边缘区域，由于深度不连续性，网络在卷积操作时容易受到边界效应的影响，导致边缘处的深度预测在前后帧之间来回震荡，严重破坏了视频流的视觉连贯性。
引入时序平滑机制：光流对齐与特征融合
为了缓解帧间预测的跳变，最直观的思路是在推理阶段引入时序平滑机制。通过计算相邻帧之间的光流，我们可以将前一帧的深度图根据像素运动轨迹扭曲到当前帧坐标系，从而获得一个时序对齐的深度先验。这个先验信息可以与当前帧的网络预测结果进行加权融合，有效抑制高频抖动。
在网络架构设计上，可以引入长短期记忆网络或时空卷积来融合多帧特征。这种方法不仅保留了空间维度的特征表达，还显式地建模了时间维度的依赖关系，使得网络在预测当前帧深度时能够参考历史帧的上下文信息，从而输出更加平滑的深度序列。
以下是利用光流进行深度对齐与特征融合的简化代码示例。在这个流程中，我们首先获取相邻帧的光流场，然后通过网格采样操作将前一帧的深度预测映射至当前帧，最后进行指数加权融合。
import torch
import torch.nn.functional as F
def warp_depth(prev_depth, flow):
b, c, h, w = prev_depth.size()
grid_y, grid_x = torch.meshgrid(torch.arange(h), torch.arange(w))
grid = torch.stack((grid_x, grid_y), dim=0).float()
grid = grid.unsqueeze(0).repeat(b, 1, 1, 1)
if prev_depth.is_cuda:
grid = grid.cuda()
flow = flow.permute(0, 2, 3, 1)
grid = grid.permute(0, 2, 3, 1)
sample_grid = grid + flow
sample_grid[..., 0] = 2.0 * sample_grid[..., 0] / max(w - 1, 1) - 1.0
sample_grid[..., 1] = 2.0 * sample_grid[..., 1] / max(h - 1, 1) - 1.0
warped_depth = F.grid_sample(prev_depth, sample_grid, mode='bilinear', padding_mode='border')
return warped_depth
def temporal_smooth(current_depth, prev_depth, flow, alpha=0.8):
warped_prev = warp_depth(prev_depth, flow)
smoothed_depth = alpha * current_depth + (1 - alpha) * warped_prev
return smoothed_depth
这种基于特征级或输出级融合的方法虽然能显著降低抖动，但也存在明显的局限性。当场景中存在快速运动或遮挡区域时，光流估计本身会产生较大误差，导致深度对齐失败。此时，过度依赖光流先验反而会引入拖影或伪影。因此，在设计融合权重时，需要结合光流的置信度进行自适应调整。
深度几何约束：基于运动一致性的损失函数设计
除了在网络结构上进行修改，从训练阶段的损失函数入手进行深度约束是另一种更为根本的解决方案。几何一致性损失通过强制相邻帧之间的深度预测满足刚体运动的物理规律，从内部约束了网络的预测行为，使其在训练时就具备抗抖动能力。
具体而言，假设已知相邻两帧图像之间的相机位姿变换，我们可以将第一帧的深度点云投影到第二帧的相机坐标系下，然后将其与第二帧预测出的深度点云进行对比。如果预测完全准确且场景为静态，两者应该完全重合。它们之间的重投影误差构成了几何一致性损失的一部分，通过反向传播，网络能够学习到符合三维空间几何规律的深度表示。
下面是几何一致性损失计算的核心代码片段。该函数接收相邻帧的深度图和相对位姿参数，通过构建三维点云并执行坐标变换，最终输出重投影误差。
import torch
def geometric_consistency_loss(depth1, depth2, pose, intrinsics):
b, _, h, w = depth1.size()
y, x = torch.meshgrid(torch.linspace(0, h-1, h), torch.linspace(0, w-1, w))
x = x.flatten()
y = y.flatten()
ones = torch.ones_like(x)
pixel_coords = torch.stack([x, y, ones], dim=0).unsqueeze(0).repeat(b, 1, 1)
cam_points = torch.matmul(torch.inverse(intrinsics), pixel_coords) * depth1.view(b, 1, -1)
cam_points_transformed = torch.matmul(pose[:, :3, :3], cam_points) + pose[:, :3, 3:4]
proj_pixels = torch.matmul(intrinsics, cam_points_transformed)
proj_pixels = proj_pixels / proj_pixels[:, 2:3, :]
error = torch.abs(proj_pixels[:, :2, :] - pixel_coords[:, :2, :])
return torch.mean(error)
引入这种基于几何先验的约束后，网络在训练时被迫学习时序一致的深度表示。这种方法的优点在于它不依赖于推理阶段的光流计算，泛化能力更强。然而，它要求训练数据集中必须包含高度精确的相机位姿标签，数据准备成本较高。此外，对于动态物体场景，简单的几何约束会失效，需要引入动态物体掩码机制来剔除不符合刚体运动假设的区域。
工程实践：平衡实时性与稳定性的推理策略
在实际的工程部署中，有时我们无法修改模型结构或重新训练网络，此时可以采用推理阶段的滑动窗口平滑策略来抑制深度抖动。最简单的做法是对连续多帧的深度预测结果应用指数移动平均滤波。通过为历史帧分配指数衰减的权重，能够在滤除高频噪声的同时保持对场景变化的快速响应。
与简单的均值滤波相比，指数移动平均对相机突然转向或场景物体快速移动的情况具有更好的适应性，延迟更低。但需要注意的是，滑动窗口平滑不可避免地会增加系统的整体延迟。对于自动驾驶或增强现实等对实时性要求极高的场景，延迟几帧的深度输出可能会导致不可接受的交互滞后。
因此，在应用此策略时，必须根据具体的业务场景在稳定性和实时性之间寻找最佳平衡点。一种折中的方案是结合运动矢量自适应调整平滑系数：当检测到画面发生剧烈运动时，降低历史帧的权重以减少拖影；当画面相对静止时，增大平滑系数以最大程度消除深度噪声与抖动。通过这种动态调整机制，可以在不修改模型结构的前提下，显著提升视频流深度估计的视觉质量。