单目深度估计凭借单张图像推断场景每个像素的距离，在自动驾驶、增强现实和机器人导航里都有广泛使用。但卷积网络或者视觉Transformer输出的通常是逆深度或者说是相对深度，数值范围被归一化，并不对应真实的米制尺度。这种尺度不确定性使得同一个网络在室内外不同场景下给出的距离比例完全不一致，如果直接拿去规划路径或者做三维重建，物体位置和大小都会严重失真。要解决这一问题，核心思路是把网络学到的相对结构同某种绝对度量信息对齐，从而恢复出可用的物理尺度。
尺度不确定性的几何根源
从透视相机模型来看，三维点 X=(X,Y,Z) 投影到图像平面得到 x=fX/Z 与 y=fY/Z，其中 f 是焦距。网络从单张图预测的往往是 1/Z 的相对值，因为亮度、纹理和遮挡只反映了不同物体之间的前后顺序与相对远近。方程里真实的 Z 被整体缩放后，图像上的 x,y 完全不变，这就是说单目系统本身存在不可观测的全局尺度因子。即便使用监督学习用激光雷达真值训练，如果测试时相机内参或挂载高度变化，训练得到的尺度依然可能偏移。
很多初学者会把尺度不确定性和深度噪声混淆。噪声是像素级的随机误差，而尺度是全局或分段恒定的乘性因子。举例来说，若真实深度是 5米，网络给出 0.2，那么只要乘上 25 就能对齐；但如果同时远处 50米 变成 1.0，那说明还存在非线性畸变。因此尺度恢复的第一步是判断场景是否可用单一全局因子描述，还是必须分区域或分平面处理。城市街道常近似单一地面平面，而室内多层结构就需要更细的建模。
另一种常见误区是认为更大的网络就能自己学出尺度。事实上网络容量只影响相对结构精度，输入里没有绝对距离线索时，损失函数对尺度的偏好是模糊的。有的工作尝试在训练时把相机高度、焦距作为额外输入，这相当于把外部度量注入模型，但部署时若这些参数未知，仍要在后端做恢复。理解这一几何本质，才能合理选择后处理或融合方案。
基于稀疏测量的尺度恢复方法
最直接的做法是利用稀疏绝对深度源，例如激光雷达、ToF传感器或者已知尺寸的标定物，去推算全局尺度。假设网络输出逆深度 d_i=1/z_i_pred，传感器测得少量像素的真实逆深度 s_i=1/Z_i_gt，二者满足 s_i ≈ a·d_i + b。通过最小二乘拟合 a,b，就能把整张图映射到米制空间。下面给出简化的Python拟合代码：
import numpy as np
# pred_inv: 网络输出的逆深度，形状(N,)
# gt_inv: 传感器对齐后的逆深度，形状(N,)
def recover_scale(pred_inv, gt_inv):
A = np.vstack([pred_inv, np.ones_like(pred_inv)]).T
# 最小二乘求解 a,b
coef, _, _, _ = np.linalg.lstsq(A, gt_inv, rcond=None)
a, b = coef[0], coef[1]
# 恢复后的真实逆深度
recovered = a * pred_inv + b
return recovered, a, b
# 示例数据
pred_inv = np.array([0.1, 0.2, 0.05, 0.3])
gt_inv = np.array([0.05, 0.1, 0.025, 0.15])
rec, a, b = recover_scale(pred_inv, gt_inv)
print("scale a=", a, "bias b=", b)
这种线性对齐在地面平坦、误差分布均匀时效果很好，计算量极小，适合嵌入式平台。但如果稀疏点集中在近处，远处的外推误差会变大，因为网络远处的相对深度本身置信度低。此时可以改为只匹配地面点，或采用加权最小二乘，给远距离更低的权重。也有研究用RANSAC剔除动态物体对应的错误对应，避免车、行人带来的尺度抖动。
当没有激光雷达时，已知尺寸物体也是可行方案。比如交通标志牌标准宽度 0.6米，检测到它在图上的像素宽 w，结合焦距可算距离，再与网络该处深度比对得到尺度。这类方法依赖检测精度，且物体稀疏，通常作为辅助。更稳健的是地面平面假设：估计 vanish line 后拟合地平面方程，由相机离地高度推出沿射线的深度尺度，对道路场景非常有效。
可微优化与多帧联合细化
后处理对齐是一次性操作，若视频序列里尺度缓慢漂移，单帧恢复会造成跳动。可微优化把尺度因子作为变量，连同深度网络输出一起构建重投影损失，用梯度下降微调。假设相邻帧有位姿 T，像素 p 在帧 t 的深度为 s·d，投影到帧 t+1 应与其亮度一致。损失写作 L=Σ|I_t(p)-I_{t+1}(proj(s·d))|，对 s 求导更新。代码框架如下：
import torch
def photometric_loss(img_t, img_t1, proj_depth, scale):
# proj_depth: 根据位姿投影得到的参考深度
pred_depth = scale * proj_depth
# 简化：用预测深度做采样（实际需用网格与相机模型）
recon = torch.nn.functional.grid_sample(img_t1, pred_depth.unsqueeze(-1))
return torch.abs(img_t - recon).mean()
scale = torch.tensor(1.0, requires_grad=True)
optimizer = torch.optim.Adam([scale], lr=0.01)
for step in range(50):
loss = photometric_loss(img_t, img_t1, proj_depth, scale)
optimizer.zero_grad()
loss.backward()
optimizer.step()
多帧联合则引入滑动窗口，把过去 k 帧的尺度因子约束为接近，或用全局因子加慢变偏置。这样既能吸收新测量的校正，又能平滑历史，避免每帧尺度跳变。实验表明在驾驶数据上，窗口为 5 时远端误差比单帧降低约三成。代价是显存和延时增加，需要权衡。若系统已有IMU，还可把加速度积分的距离作为尺度先验项加入损失，形成紧耦合。
最后要提醒，尺度恢复不是孤立模块，它和深度网络结构、训练损失互相影响。如果在训练时采用尺度不变损失 silog，网络输出的相对结构更稳，后端恢复更容易。部署阶段建议把尺度因子做成在线估计线程，与主推理并行，遇到隧道、陡坡等退化场景时自动降级到上一时刻尺度，保障安全。只有把几何原理、传感器特性和优化策略结合起来，单目深度才能真正走出尺度不确定的困境。
monocular_depthscale_recoverydepth_optimization修改时间：2026-08-13 13:03:38