NeRF在室内物体级重建上已经表现得相当成熟，可一旦把镜头对准真实的城市街区，问题就接踵而至：光照随拍摄时间剧烈变化，建筑之间相互遮挡，场景尺度从几米膨胀到几百米。NeRF-OSR正是为解决这些难题而生，它将神经辐射场从受控的小场景推向了真实世界的室外重建。本文围绕NeRF-OSR的方法原理、工程实践与效果评估展开，帮助你在自己的项目里复现或借鉴这套方案。
一、为什么原始NeRF在室外场景会失效
要理解NeRF-OSR的价值，先得弄清楚原始NeRF的短板。NeRF的核心假设是场景静态且光照一致：用5D坐标（空间位置加观察方向）作为输入，通过多层感知机拟合密度和颜色。这个假设在物体级数据集（比如乐高、椅子）上完全成立，但在真实城市街景里几乎必然被打破。
第一个问题是光照不一致。采集城市影像往往跨越数小时甚至数天，太阳位置、天空亮度都在变化。NeRF会把不同图像的光照差异错误地解释为场景本身的颜色差异，最终渲染出的结果出现浮影、半透明的鬼影墙面，细节纹理被涂抹成一团。第二个问题是遮挡与背景。城市场景中存在大量远处天空、树木枝叶这类复杂背景，标准的positional encoding难以同时表达近景建筑和远景天空，容易出现锯齿和模糊。第三个问题是尺度。城市级场景的空间范围是物体级的上百倍，位置编码频率若按小场景配置，网络根本学不到大尺度几何。
NeRF-OSR针对这三点分别给出应对策略：显式解耦光照与材质、引入可学习的天空环境模型、以及针对大场景设计的位置编码与采样策略。这也是它与Mip-NeRF这类只解决混叠问题、或者NeRF-W这类只处理瞬态遮挡的方法的本质区别，OSR追求的是室外场景的系统性方案。
二、NeRF-OSR的核心原理与模型结构
NeRF-OSR的关键贡献在于把每个像素的观测值分解为场景固有的材质属性与逐张图像的光照条件两部分。具体做法是为每张训练图像关联一个低维光照嵌入向量，网络在预测颜色时以这个向量为条件输入。这样，同一个墙面在不同光照下的照片不再互相冲突，网络学到的是墙面的反照率，而光照差异被光照嵌入吸收。
在几何层面，NeRF-OSR沿用了coarse-to-fine的两阶段采样，但针对大尺度场景做了调整。它对位置编码的频率范围按场景包围盒归一化处理，使得网络既能表达几十米外的建筑轮廓，也能保留墙面贴砖级别的细节。同时引入了表面先验的约束，鼓励密度场在物体表面附近集中分布，这对薄结构（栏杆、电线）稀少的城市场景尤其有效，可以显著减少悬浮噪点。
以伪代码形式概括其前向过程：
def nerf_osr_forward(ray_o, ray_d, light_embed, model):
# 采样：coarse阶段沿射线均匀采样
pts_coarse = sample_along_ray(ray_o, ray_d, N_coarse)
# 位置编码按场景包围盒归一化
pts_enc = positional_encode(pts_coarse, bounding_box, L=16)
# 预测密度与材质，光照嵌入作为条件
sigma, albedo = model.query_density_albedo(pts_enc)
color = shade(albedo, light_embed, view_dir=ray_d)
# fine阶段依据coarse权重做重要性采样，重复上述过程
weights = volume_render_weights(sigma, pts_coarse)
pts_fine = importance_sample(weights, N_fine)
return render(pts_fine, model, light_embed)</code>可以看到，与标准NeRF相比，最大的改动集中在条件化着色和归一化编码两处。这种设计的好处是推理时可以替换光照嵌入，实现可控的光照编辑，比如把阴天场景渲染成黄昏效果，这在传统的多视角重建管线里几乎不可能做到。
三、环境搭建与数据处理实践
NeRF-OSR官方基于PyTorch实现，对显卡要求不算苛刻，但训练城市级数据建议至少24GB显存的GPU，例如RTX 3090或A5000。环境搭建推荐使用conda隔离：
conda create -n nerfosr python=3.9 conda activate nerfosr git clone https://github.com/r00tman/nerf-osr.git cd nerf-osr pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install -r requirements.txt
数据处理是室外重建中最容易被低估的环节。输入需要每张图像的相机位姿，通常通过COLMAP估计稀疏点云与位姿。需要注意的是，室外图像的SfM匹配质量受光照影响很大，建议在同一时段拍摄的图像子集中先做特征匹配，再合并整个模型。COLMAP导出的BIN格式需要转换成NeRF-OSR期望的JSON格式，包括相机内参、外参四元数以及每个图像的光照标记。
图像预处理方面有两条经验值得分享。第一，城市街景图像分辨率动辄4000像素以上，直接训练会显存爆炸，通常缩放到1600像素左右的宽边再训练；第二，对于动态物体（行人、车辆），可以结合掩码或参考NeRF-W的瞬态嵌入思路，在数据标注阶段就把这些区域标记出来，避免网络被污染。
四、训练配置与常见问题排查
训练参数的调优直接决定重建质量。关键配置包括位置编码的 multires 参数、batch size中每条射线的采样点数，以及学习率调度。针对大规模场景，一个实用的技巧是先用降采样的低分辨率图像训练几何，确认形状收敛后再用高分辨率数据微调颜色细节，这样能节省大量时间。典型训练配置示例如下：
python train.py \ --dataset_path ./data/city_block \ --exp_name block_v1 \ --img_wh 1600 1067 \ --N_samples 1024 \ --N_importance 1024 \ --multires 16 \ --light_embed_dim 32 \ --num_epochs 400 \ --lr 5e-4
训练中常见的问题有几类。如果渲染图出现漂浮的雾状噪点，多半是密度正则不足或表面约束权重过低，可以调高对应的正则项系数；如果不同视角渲染的墙面颜色明显不一致，说明光照嵌入维度太小或该图像的嵌入训练不充分，可适当增大light_embed_dim；如果远处建筑出现模糊或阶梯状伪影，则是位置编码频率上限不足，需要增大multires或者检查场景包围盒是否把远景包含了进去。
评估指标方面，新视角合成常用PSNR、SSIM和LPIPS三个指标。根据公开基准数据集上的报告，NeRF-OSR在室外场景上的PSNR相比原始NeRF普遍提升2到4个dB，视觉上最明显的改善是消除了光照冲突导致的鬼影。不过也要客观看待它的局限：对极端光照变化（比如夜景加霓虹灯）的支持仍然有限，训练一个街区块通常需要一到两天，实时渲染更是无从谈起。如果项目需要交互式浏览，可以考虑训练后蒸馏到显式表示（如网格或高斯泼溅），这是当前工程落地的主流路径。
总结来看，NeRF-OSR通过解耦光照与材质、适配大尺度编码这两大设计，把神经辐射场的适用边界从室内物体推向了真实城市街区。对于做数字孪生、城市可视化的团队来说，理解它的原理与调参思路，是在自己的数据上复现高质量室外重建的第一步。