神经辐射场（NeRF）自提出以来一直是三维重建和新视角合成领域的研究热点，但它长期面临两个矛盾的挑战：一方面渲染质量受到锯齿和混叠问题的制约，另一方面训练速度过慢难以实用。谷歌研究团队提出的Zip-NeRF给出了一套优雅的解决方案，它把Mip-NeRF 360中表示锥体的抗混叠思想，嫁接到Instant NGP的多分辨率哈希网格编码上，用“按需重排”的思路在保持高质量渲染的同时，将训练速度提升了一个数量级。本文将系统讲解Zip-NeRF的核心机制、网格低通滤波的设计细节以及实际使用中的关键配置。
一、为什么需要Zip-NeRF：两大方法的优劣势分析
要理解Zip-NeRF的价值，先要看它所融合的两个前身各自的强项与短板。Instant NGP的核心贡献是多分辨率哈希网格编码，它用一个可学习的哈希表结构存储场景的空间特征，让神经网络不再需要从零开始学习空间表示，从而把NeRF原本数小时的训练压缩到几分钟。但哈希网格有一个天然缺陷：它对空间中的查询点没有做任何尺度感知，无论相机远近，采样点都会以同样的方式查询网格特征。这导致在训练视角距离变化较大的场景中，容易出现严重的混叠现象，画面上会出现闪烁的锯齿和高频噪点。
Mip-NeRF以及后续的Mip-NeRF 360则从信号处理的角度解决了这个问题。它的思路是：一个像素在三维空间中实际对应的是一个圆锥体（而非一条射线），因此查询特征时应该考虑这个圆锥的截面大小。Mip-NeRF 360通过集成位置编码（IPE）对采样位置做区间编码，本质上是对编码做了一种低通滤波，天然抑制了高于采样率的频率成分。这种做法渲染质量极高，但集成位置编码的计算需要网络前向传播参与，而且多级级联结构难以向量化，训练和推理速度都不理想。
Zip-NeRF的出发点非常明确：能否设计一种“网格感知锥体”的机制，让哈希网格在查询特征时就完成低通滤波，从而同时获得Mip-NeRF 360的质量和Instant NGP的速度。关键洞察在于，网格本身就可以被看作一个盒式滤波器，只要让每个采样区间覆盖足够多的网格单元，就能在特征查询阶段平滑掉高频信息，而不需要额外的网络计算。
二、核心机制：网格低通滤波与按需重排
Zip-NeRF最核心的思想被称为“按需重排”（proposal-based resampling的延伸思路）。具体来说，它不再像Mip-NeRF 360那样训练一个单独的提议网络来估计采样区间，而是直接在Instant NGP的密度网格上采样，根据密度值确定哪些区域需要加密采样，然后把这些区间重新映射到更细的尺度上再查询一次。这种两阶段的采样策略避免了训练额外的网络，同时保留了重要性采样的能力。
低通滤波的实现方式值得细致分析。当一条射线上某个采样区间对应的三维锥体覆盖了多个网格单元时，Zip-NeRF会从每个被覆盖的单元中各采样一个特征，然后按覆盖比例加权平均。这在数学上等价于用盒式滤波器对网格特征做卷积。下面用一个简化的伪代码示意这个过程：
def grid_lowpass_query(cone, grid):
# cone 表示一个采样区间对应的圆锥截面
# 找到该截面覆盖的所有网格单元
cells = intersect_cells(cone, grid)
features = []
weights = []
for cell in cells:
# 每个单元内部再采样一个点，查询哈希特征
p = sample_point_in(cell)
features.append(grid.query(p))
# 权重为该单元被截面覆盖的体积比例
weights.append(overlap_volume(cell, cone))
# 加权平均，相当于对网格做盒式滤波
return weighted_average(features, weights)这个设计有一个非常巧妙的地方：低通滤波的强度是自适应的。相机离场景近时，像素对应的锥体截面小，覆盖的网格单元少，滤波弱，细节得以保留；相机离场景远时，锥体截面大，覆盖的单元多，高频成分被自动平滑掉，混叠自然消失。这与Mip-NeRF的集成位置编码在效果上高度一致，但计算全部发生在特征查询层面，成本远低于网络前向传播。
另一个重要的工程优化是采样点重排带来的向量化收益。由于所有的区间操作都是在网格空间中进行的，可以完全在GPU上以张量运算的方式批量完成，不需要像Mip-NeRF 360那样的串行级联查询。这使得Zip-NeRF在单个GPU上的训练速度比Mip-NeRF 360快约8到15倍，推理速度提升更为显著。
三、损失函数与训练细节的改进
除了表示层面的融合，Zip-NeRF在训练策略上也做了几处关键调整。首先是提出了平滑损失的概念。由于哈希编码存在哈希冲突，相邻区域可能会被映射到不相关的特征上，导致渲染出现斑点状伪影。Zip-NeRF引入了一个对渲染深度的平滑正则项，惩罚深度图上的剧烈跳变，有效抑制了这类噪声。
# 平滑损失的核心思想示意
def smooth_loss(depth_map, weights):
# depth_map: 各射线的期望深度
# 对相邻射线的深度差按权重惩罚
d1 = depth_map[:, :-1]
d2 = depth_map[:, 1:]
w = 0.5 * (weights[:, :-1] + weights[:, 1:])
return (w * torch.abs(d1 - d2)).mean()其次，Zip-NeRF沿用了Mip-NeRF 360中的失真损失，用于约束采样权重沿射线的分布更加紧凑，避免密度泄漏到空白区域。同时它保留了在线蒸馏的思路，让粗尺度的采样结果指导细尺度的重采样，但由于这一切都基于网格而非独立网络，蒸馏的开销几乎可以忽略。
在数据预处理上，Zip-NeRF对室内场景使用了相似性变换对齐坐标系，对场景半径做了自适应缩放，这些细节对最终指标的影响不可忽视。实测中，合理的场景归一化能带来约0.3dB的PSNR提升，尤其是对360度环绕拍摄的无界场景效果明显。
四、性能对比与实际应用建议
在公开基准上，Zip-NeRF的表现可以概括为“质量持平Mip-NeRF 360，速度快一个量级”。在Mip-NeRF 360数据集上，Zip-NeRF的PSSR与Mip-NeRF 360相当或略有超出，而训练时间从数十小时缩短到几小时以内。与Instant NGP相比，Zip-NeRF在抗锯齿指标上优势明显，特别是在近景与远景混合的场景中，Instant NGP的渲染会出现明显的高频闪烁，而Zip-NeRF的画面稳定干净。
实际部署时有几个参数值得注意。多分辨率网格的层数建议保持在16层左右，最粗层的网格尺寸应大于场景对角线长度，以保证远景的充分模糊；每个采样区间内的网格采样数控制在2到4个即可，更多的采样只带来边际收益却显著增加显存占用；平滑损失的权重建议设置在0.01量级，过大反而会抹除真实的几何边缘。
总体来看，Zip-NeRF证明了高质量与高速度并非不可兼得，其“网格即滤波器”的设计思路对后续研究影响深远，包括后来的多尺度高斯泼溅方法都从中汲取了灵感。对于需要在真实场景中落地新视角合成的开发者而言，Zip-NeRF以及其开源实现是非常值得上手的基线方案。