MonoNeRF是一类面向单目视频输入的动态神经辐射场方法，它的核心目标是在只有单一摄像头连续拍摄、没有任何多视角同步数据的前提下，重建出包含运动物体的三维场景，并支持后续从任意新视角渲染历史时刻的画面。与静态NeRF不同，单目视频面临的本质困难是信息缺失：每一帧只提供了一个方向的观测，而动态物体又在时间轴上不断变化位置和形态，这就导致简单的静态建模会把这些运动区域当成噪声或漂浮物。MonoNeRF通过引入时间维度上的形变场与外观场，把场景表示为一个随时间演化的连续函数，从而把“看过的视角”和“没看过的视角”在优化过程中逐步对齐。
单目视频重建的动态表征原理
在MonoNeRF的设计中，整个场景通常被解耦为静态背景辐射场与动态形变场两部分。静态部分负责描述不随时间为转移的环境几何与颜色，而动态部分则接收某个时间步的坐标，输出该点相对于规范空间的偏移量。这种解耦让模型不需要为每一帧单独存储一套三维结构，而是用同一个规范空间加一个轻量形变网络来表达所有时刻。从数学上看，给定查询点(x, y, z, t)，系统先利用形变网络预测位移delta，再把变形后的坐标送入静态辐射场求密度和颜色，最后通过体积渲染合成图像。
之所以能仅从单目视频学习这种表征，关键在于光流与深度的自监督信号。因为相邻帧之间同一动态物体必然存在像素运动，模型可以利用预训练光流网络提供的前后帧对应关系，约束动态场预测的位移在图像平面上的投影与光流一致。与此同时，单帧深度估计网络给出的相对深度被用来初始化射线采样范围，避免在无序空间中盲目优化。这两类先验虽然带有误差，但足以把优化问题从欠定变成可解，再通过端到端微调消除先验偏差。
下面是一段简化的形变场调用示例，展示如何把时间编码与空间坐标结合：
import torch
def deform(xyz, t, deform_net):
# xyz: [N, 3] 规范空间坐标
# t: [N, 1] 归一化时间
pe = torch.cat([xyz, torch.sin(t * 3.1415), torch.cos(t * 3.1415)], dim=-1)
delta = deform_net(pe) # 预测低频位移
return xyz + delta
# 假设静态辐射场为 static_nerf
warped = deform(points, time, deform_net)
rgb, sigma = static_nerf(warped)
训练过程中的损失设计与避坑要点
MonoNeRF的训练损失一般由渲染颜色重建损失、光流一致性损失以及形变正则项组成。颜色损失就是预测图与真实帧的L2或L1距离，它保证可见区域外观正确；光流一致性损失要求动态点投影到相邻帧的位置与光流估计匹配，否则优化容易把运动物体塌缩成半透明壳；形变正则则惩罚过大的高频位移，防止规范空间出现撕裂。实践中，如果光流先验太强，模型会过度信任外部网络，在物体遮挡边界产生鬼影，因此常用动态权重在训练后期削弱光流项。
另一个常见误区是认为单目视频越长越好。实际上，当视频包含大量非刚性快速运动时，形变场的表达能力会成为瓶颈，过长序列会让不同时间段互相拉扯，导致规范空间模糊。此时应当分段优化或使用局部时间窗口，并配合关键帧选择策略，只把信息量高的帧送入训练。此外，背景静态假设在手持拍摄中常被违反，因为相机也在动，所以通常需要先估算相机位姿，或用联合位姿优化把相机路径和场景变形分开处理。
以下代码展示了带权重的混合损失计算骨架：
def loss_fn(pred_rgb, gt_rgb, flow_loss, epoch):
photo = ((pred_rgb - gt_rgb) ** 2).mean()
w_flow = 0.5 if epoch < 100 else 0.1 # 后期降低光流权重
reg = (deform_delta ** 2).mean() * 0.01
return photo + w_flow * flow_loss + reg
与多视角及显式重建方案的对比
相比多视角NeRF，MonoNeRF最大的优势是采集成本几乎为零，不需要阵列相机或标定板，普通行车记录仪、监控视频都能作为数据源。但代价是几何精度下降，因为单目深度本身存在尺度歧义，重建出的场景尺寸往往是相对值。多视角方案通过视差可直接恢复度量尺度，而单目方法通常要借助已知物体尺寸或IMU信息才能对齐真实世界比例。在弱纹理墙面、反光地面等区域，多视角也能利用交叉验证抑制模糊，单目则更依赖先验网络质量。
若与传统的显式动态重建（如非刚性SLAM、点云融合）比较，MonoNeRF这类隐式方法不需要维护拓扑变更，也不会因为点云缺失出现空洞，在毛发、烟雾等难以显式表达的结构上更连贯。不过显式方法能实时输出网格，便于下游物理仿真，而神经辐射场目前仍受限于训练时长与渲染延迟。在部署时，若业务要求秒级响应，往往需要先离线训练再蒸馏到小型网络，或采用更紧凑的哈希编码变体降低计算量。
从系统架构看，一个可用的单目视频重建流水线应当包含前处理（位姿、光流、深度）、训练（形变场加静态场）、后处理（新视角渲染、网格提取可选）三个独立模块。这种分层结构方便替换其中任一环节，例如把光流网络从RAFT换成更轻量的模型，而不会影响辐射场主体逻辑。同时也便于在服务器端并行处理多段视频，把显存压力分摊到不同进程，避免长视频直接拖垮单卡。