KiloNeRF是神经辐射场实时渲染领域的代表性工作，它用数千个微小的多层感知机替换单一的大网络，从而把渲染速度提升几个数量级。不过很多复现过这个工作的人都遇到过同样的问题：这数千个小网络在训练初期极难收敛，损失曲线剧烈震荡，稍不留神就会出现局部区域渲染发黑或者过曝。官方论文中其实已经给出了答案——蒸馏与知识迁移，也就是先训练一个传统的大NeRF作为教师，再把教师的知识迁移到千网络集合中。本文围绕这个思路展开，详细分析训练难点与解决方案。
为什么KiloNeRF直接训练如此困难
KiloNeRF把场景空间切分成数千个体素，每个体素内放一个只有2到3层、隐藏层宽度20左右的小MLP。这种设计推理时非常快，但训练时会带来几个明显的麻烦。
第一是容量不均衡问题。小网络的容量极其有限，如果直接用随机初始化从零开始拟合，每个小网络只能靠各自负责的那一小块空间的光线信号进行优化。对于透明物体或者颜色渐变区域，监督信号本身就稀疏，小网络很容易陷入次优解，输出密度值偏低，最终表现为渲染结果出现黑洞或者半透明伪影。
第二是并行优化带来的震荡。数千个网络同时更新，每个网络的梯度只能来自穿过其体素的那部分光线。不同体素被光线穿过的频率差异巨大：场景表面附近的体素会被大量光线反复采样，而空气区域的体素很少被采样到。这种梯度分布的极度不均衡，导致损失下降缓慢且不稳定。
第三是缺乏全局先验。单一的大NeRF参数量大，网络内部会自然学到空间上的平滑先验；而小网络各自独立，彼此之间没有任何信息交互，边界处容易出现颜色和密度的不连续，表现为画面上明显的块状接缝。
蒸馏方案的核心思路：教师先行，学生跟随
KiloNeRF原论文采用的方案分两个阶段。第一阶段训练一个常规的NeRF（或任何神经场表示，比如NSVF、Instant-NGP甚至SPlaT类的表示）作为教师，直到教师达到较高的渲染质量。第二阶段冻结教师，把教师的知识逐点迁移给KiloNeRF这个学生集合。
蒸馏的关键在于监督信号的形式。最直接的做法是逐点监督：在采样空间中随机生成一批三维点和观察方向，输入教师网络得到密度和颜色，再把这些值作为KiloNeRF对应子网络的监督目标，用均方误差损失拉近距离。这种方式实现简单、效率高，因为教师前向传播只发生在采样点上，不需要完整的体渲染流程。
更进一步的方案是结合渲染损失：用KiloNeRF渲染出的图像与真实图像、教师渲染出的图像同时计算损失。渲染损失保证了蒸馏结果在最终任务上表现良好，而逐点蒸馏损失则提供稠密的中间监督信号，弥补渲染损失只在二维层面监督的不足。两者通常按一定权重加权求和：
import torch
import torch.nn.functional as F
# teacher: 预训练好的大NeRF, student: KiloNeRF集合
# pts: [N,3] 采样点, dirs: [N,3] 观察方向
with torch.no_grad():
t_sigma, t_rgb = teacher(pts, dirs) # 教师输出作为目标
s_sigma, s_rgb = student(pts, dirs) # 学生子网络输出
# 逐点蒸馏损失：密度与颜色分别做MSE
loss_distill = F.mse_loss(s_sigma, t_sigma) + F.mse_loss(s_rgb, t_rgb)
# 渲染损失：与真实图像比较
rgb_student = render(student, rays) # 体渲染
loss_render = F.mse_loss(rgb_student, rgb_gt)
# 加权组合，蒸馏损失权重通常随训练逐步衰减
loss = loss_render + lambda_d * loss_distill代码中的lambda_d是一个值得仔细调节的系数。训练初期学生能力弱，蒸馏损失权重应设大一些，让学生快速对齐教师的中间表示；随着学生渲染质量逼近教师，可以逐渐衰减蒸馏权重，让渲染损失主导后期优化，避免学生被教师的误差上限锁死。
课程学习式渐进迁移与实用训练技巧
除了朴素的蒸馏，还可以引入课程学习的思想：先只用教师监督训练学生若干轮，再逐步引入真实图像的渲染损失，最后完全切换到端到端微调。这种渐进策略的好处是学生先获得一个良好的初始化，后续优化自然平稳得多，震荡现象明显减少。
采样策略同样重要。逐点蒸馏时如果采样点分布不均，靠近相机路径的区域会被过度监督。实践中可以按体素均匀采样，或者按教师密度值加权采样，让高密度区域（几何表面附近）获得更多的监督点，空气区域则少量覆盖即可，这样训练效率更高。
另外几个实用细节值得注意：一是教师质量决定学生上限，教师务必训练到收敛，必要时可以用比原版NeRF更强的教师（例如用Instant-NGP做教师，训练几分钟就能得到高质量教师，大幅缩短整体流程）；二是KiloNeRF的子网络建议用参数量极小但带位置编码的MLP，位置编码频率不要照搬大NeRF的设置，适当降低最大频率能让小网络更容易学；三是蒸馏阶段可以使用比渲染阶段更大的批大小，因为逐点监督不需要完整光线 marching，吞吐量可以很高。
最后提一点架构层面的替代思路。如果觉得维护数千个小网络过于繁琐，可以考虑把KiloNeRF实现为一个巨大的稀疏矩阵运算，把所有子网络的权重拼接成分块对角矩阵，这样一次矩阵乘法就能完成所有体素的前向计算，GPU利用率大幅提升。这类工程优化与蒸馏配合使用，才能让KiloNeRF真正发挥出实时渲染的威力。
总结一下，KiloNeRF的训练难题本质上源于小网络容量低、梯度信号稀疏且分布不均。蒸馏与知识迁移通过一个强教师提供稠密的逐点监督，配合渐进式课程和合理的损失加权，可以让千网络集合稳定快速地收敛。这套思路不只适用于KiloNeRF，在其他轻量化神经场的蒸馏任务中也同样适用。