在街区尺度的神经辐射场重建中，Urban-NeRF类方法虽然能够生成逼真的新视角图像，但几何输出常常出现明显的失真：笔直的墙面变成波浪形，地面出现不自然的凸起，建筑边缘被模糊成圆角。这些伪影在渲染时或许不易察觉，一旦将重建结果用于三维建模、自动驾驶仿真或城市规划，就会暴露出严重的几何错误。本文从成因入手，讨论如何通过平面约束与曼哈顿规则先验修复Urban-NeRF的几何失真。
几何失真的成因与平面先验的价值
NeRF的核心优化信号来自光度一致性：对于每条光线，沿路径采样三维点，通过体积渲染公式合成颜色，并与输入图像像素值比较。在纹理丰富、视差明显的区域，这种光度损失可以比较准确地恢复场景几何。然而城市环境存在大量弱纹理表面，例如白色墙面、灰色路面、大面积玻璃幕墙，这些区域在不同视角下的像素颜色高度相似，深度估计因此产生严重歧义。一个轻微弯曲的表面与一个完全平整的表面可能渲染出几乎相同的颜色，光度损失无法区分二者，优化过程便容易陷入错误几何。
城市环境最显著的结构特征是平面广泛存在。建筑立面、地面、天花板、道路标线、停车位等几乎都可以用平面方程描述。平面先验的引入相当于给NeRF增加了一个结构约束：属于同一平面的三维点应当满足同一平面方程，表面法向量应当一致。这种约束直接作用于几何层面，弥补了光度信号在弱纹理区域的不足，引导神经场收敛到更符合真实世界的几何形态。
从实现角度看，平面先验可以通过多种途径获得。一种方式是利用预训练的语义分割模型识别墙面、地面等类别，对每个类别区域使用RANSAC算法拟合平面参数；另一种方式是直接使用多视角立体匹配得到的深度图或点云，从中提取平面。无论哪种方式，最终都能生成一组平面方程及其对应的图像掩膜，作为训练时的额外监督信号。
平面约束的损失函数设计与实现
将平面约束融入NeRF训练的关键是设计合理的损失函数。假设对于某个检测到的平面区域，已经得到平面方程参数plane_params，当光线穿过该区域像素时，体渲染过程中的三维采样点坐标应当满足该平面方程。最常见的做法是计算每个采样点到平面的有符号距离，并对距离施加惩罚。但直接对所有采样点使用硬约束会破坏平面边缘处的几何细节，因为边缘两侧可能属于不同平面，强行将边缘附近的点拉向单一平面会产生模糊。因此需要引入距离权重，对接近平面的点施加较强约束，对远离平面的点弱化约束。
以下代码给出了一个平面约束损失函数的示例，其中的指数权重衰减可以保留边缘锐度：
import torch
import torch.nn as nn
class PlaneConstraintLoss(nn.Module):
def __init__(self, plane_threshold=0.05):
super().__init__()
self.plane_threshold = plane_threshold
self.mse = nn.MSELoss()
def forward(self, points_3d, plane_params):
"""
points_3d: [N, 3] 采样点三维坐标
plane_params: [4] 平面方程系数 (a, b, c, d)，满足 ax+by+cz+d=0
"""
a, b, c, d = plane_params
normal = torch.tensor([a, b, c], device=points_3d.device)
normal_norm = torch.norm(normal, p=2)
normal = normal / (normal_norm + 1e-8)
d_norm = d / (normal_norm + 1e-8)
# 计算每个点到平面的有符号距离
distances = torch.matmul(points_3d, normal) + d_norm
# 仅对接近平面的点施加较强约束，避免破坏边缘细节
weights = torch.exp(-distances.abs() / self.plane_threshold)
loss = (weights * distances ** 2).mean()
return loss
在训练循环中，需要区分当前光线是否穿过平面掩膜区域。对于掩膜内的像素，可以额外采样一组三维点并调用上述损失。另一种实现路径是渲染深度图，对深度图应用平面拟合损失，这样做计算量更小，但几何约束的精度略低于直接操作三维采样点。实际工程中两种方式可以结合：初期使用深度图约束加快收敛，后期切换到三维点约束细化几何。
超参数plane_threshold控制约束的软硬程度，常用值在0.02到0.1之间。取值过小会退化为硬约束，边缘区域容易产生锯齿；取值过大则约束强度不足，几何失真修复不明显。实验时通常从0.05开始，观察验证集上的几何误差再进行调整。
曼哈顿世界假设与方向规则约束
城市街区不仅富含平面，而且平面之间的方向关系高度规则。地面大致水平，建筑立面大致垂直，街道两侧的墙面通常相互平行或正交。这种结构被称为曼哈顿世界假设。利用该假设，可以进一步约束表面法向量的分布：大多数表面法向量应当只指向三个互相垂直的主方向，而不是任意朝向。这一规则能够有效抑制NeRF在弱纹理区域产生旋转不一致的漂浮面片。
方向约束的引入通常依赖一个法向预测分支或从体密度梯度计算表面法向。得到法向量后，计算其与三个主方向的点积绝对值，取最大值作为该法向与曼哈顿主方向的对齐程度。损失函数鼓励每个法向量至少与一个主方向重合，同时允许少量非曼哈顿表面存在。以下代码实现了这一正则项：
class ManhattanRegularizer(torch.nn.Module):
def __init__(self, directions=None):
super().__init__()
# 默认三个主方向：x, y, z 轴，可根据场景旋转矩阵调整
if directions is None:
self.directions = torch.eye(3)
else:
self.directions = torch.tensor(directions, dtype=torch.float32)
def forward(self, normals):
"""
normals: [N, 3] 预测的表面法向量
"""
normals = torch.nn.functional.normalize(normals, dim=-1)
# 计算每个法向量与所有主方向的点积绝对值
dots = torch.abs(torch.matmul(normals, self.directions.t())) # [N, 3]
# 每个法向量取最大对齐方向，鼓励法向量与某一主方向一致
max_dots, _ = torch.max(dots, dim=1)
loss = (1.0 - max_dots).mean()
return loss
方向规则与平面约束是互补的。平面约束强调局部区域内所有点共面，但不同平面区域之间的相对方向可能发生漂移，例如一个墙面整体倾斜了5度，局部共面约束无法纠正这种全局倾斜。方向约束则从全局出发，将墙面法向拉回垂直方向，将地面法向拉回水平方向。两者共同作用，可以大幅减少城市重建中的几何漂移和伪影。
除了曼哈顿方向规则，还可以加入深度范围规则。城市场景中的相机高度、建筑距离通常有合理范围，对采样点的深度施加软上限可以抑制远处漂浮物。但深度规则须谨慎使用，过强会削弱远距离建筑的恢复能力。
工程实践与调优策略
将平面约束与方向规则融入Urban-NeRF训练并不需要从零开始修改网络结构，更稳妥的方式是采用多阶段训练策略。第一阶段使用纯光度损失预训练一个基础NeRF模型，获得初步几何估计；第二阶段基于渲染深度图和语义分割提取平面区域，并计算平面方程；第三阶段冻结部分网络参数，加入平面约束损失和曼哈顿方向损失进行微调。这种渐进式训练可以避免约束在初期将网络推向错误局部最优。
损失权重的平衡是调参的重点。主光度损失的梯度幅度通常较大，平面约束和方向规则需要乘以权重才能发挥效果。实验经验表明，平面约束权重设置在0.01到0.1之间比较合理，方向规则权重设置在0.005到0.05之间。权重过大容易导致过平滑，使曲面建筑或树木等非平面结构被错误拉平；权重过小则几何修复效果不明显。可以使用验证集上的多视角深度误差实时监控，选择权重下降曲线中拐点附近的值。
动态物体是城市重建中不可忽略的干扰源。汽车、行人、移动的树叶并不满足平面约束，如果强制对这些区域施加共面损失，反而会引入新的几何错误。解决方法是使用语义分割或光流检测出动态区域，在训练时将这些像素从平面约束损失中排除。对于静态的树木和曲面建筑，也应通过掩膜将其排除在平面约束之外，只保留墙面、地面、柱体等真正平坦的结构。
评估修复效果时，渲染质量指标如PSNR、SSIM和LPIPS主要用于衡量新视角图像的逼真程度，但并不直接反映几何精度。为了验证几何失真是否改善，需要额外计算几何指标，例如渲染深度图与多视角立体匹配深度图之间的误差、表面法向误差，以及平面区域内点云的拟合残差。同时可视化重建网格可以发现，引入平面约束后墙面明显变得平整，地面凸起被消除。
该方法的局限在于平面假设并不覆盖所有城市元素。玻璃幕墙的反射会破坏光度一致性，曲面建筑无法用单一平面描述，树木和街道家具需要更灵活的先验。未来可以将平面约束与更一般的表面光滑性先验结合，或引入可微的平面聚类模块，使平面检测和NeRF训练在同一框架中联合优化，进一步提升复杂城市环境的几何鲁棒性。
Urban-NeRF的几何失真问题本质上是一个欠约束优化问题，而城市环境的结构规则恰恰提供了丰富的先验信息。通过显式检测平面区域并施加共面损失，配合曼哈顿世界方向约束，可以在几乎不牺牲渲染质量的前提下显著改善几何输出。实际工程中需要关注平面检测的准确性、损失权重的平衡以及动态物体的排除，才能稳定获得平整的墙面、笔直的地面与清晰的建筑轮廓。
Urban-NeRF平面约束几何失真修改时间：2026-08-21 16:39:57