GNeRF在生成对抗训练中出现的模式崩溃，往往表现为不同随机隐变量经过体渲染后得到几乎相同的视角、光照或场景布局。判别器可能仍然给出较高的真实度评分，但生成结果已经失去了多样性。这个问题在NeRF这类隐式三维表示中更加隐蔽，因为像素级别的微小变化不容易被发现，而几何和外观的重复却会严重影响下游任务。解决模式崩溃不能只靠增加网络容量，更需要在损失函数和对抗训练机制上引入显式的多样性约束。
一、GNeRF模式崩溃的成因与表现
GNeRF的生成流程通常从隐空间采样一个向量，然后将该向量输入生成器，生成器输出密度场和颜色场，再通过体渲染得到图像。对抗训练让判别器区分真实图像和渲染图像，生成器则尝试让渲染图像更接近真实分布。这个博弈过程并不天然保证多样性。当生成器找到一批能够稳定欺骗判别器的隐变量时，它会倾向于将所有输入都映射到这些安全区域，因为这样可以在对抗损失上获得较低且稳定的梯度。
与普通二维GAN相比，GNeRF更容易出现模式崩溃还有两个额外原因。第一，体渲染本身具有平滑性，邻近的隐变量可能产生非常相似的密度和颜色分布，这缩小了生成器在参数空间中探索不同模式的动力。第二，NeRF渲染一张图像的计算成本较高，训练批次通常较小，判别器难以从少量样本中统计出足够的多样性信息。判别器一旦只关注单张图像是否真实，就很容易被生成器用少数几种高质量模式反复欺骗。
模式崩溃的表现可以从多个层面观察。在图像层面，不同随机种子生成的视角可能集中在少数几个角度；在几何层面，不同场景可能只是颜色发生轻微变化，而密度场结构高度一致；在隐空间层面，相距很远的两个隐变量经过生成器后，在特征空间中的距离却非常小。理解这些表现有助于设计更有效的多样性损失。
二、多样性损失：从特征去相关到模式覆盖
多样性损失的核心思想是显式惩罚一批生成样本之间的相似性，从而迫使生成器利用隐空间的不同方向。直接在像素空间计算多样性损失虽然直观，但计算成本高，而且像素相似性并不等同于感知相似性或几何相似性。更有效的做法是在判别器中间层特征空间或渲染图像的感知特征空间中计算样本间距离。这样既可以利用判别器已经学到的语义特征，又能减少计算开销。
一种常见的实现方式是对批量特征进行归一化，然后计算样本间的余弦相似度矩阵，并惩罚非对角线元素的平方和。这样当两个样本特征变得非常接近时，损失会迅速增大，生成器必须调整隐变量到输出的映射，使不同样本在特征空间中分散开。可以在生成器损失中增加这一项，并使用可调节的权重因子控制多样性约束的强度。权重过大可能导致生成图像变得不稳定或引入伪影，权重过小则无法有效抑制模式崩溃。
import torch
import torch.nn.functional as F
def diversity_loss(features, temperature=0.1):
# features: [B, D] 判别器中间层特征或渲染图像的感知特征
feat = F.normalize(features, dim=1)
sim = torch.mm(feat, feat.t())
mask = torch.eye(sim.size(0), device=sim.device).bool()
sim = sim.masked_fill(mask, 0.0)
loss = sim.pow(2).mean()
return loss
另一种多样性损失形式是最大化特征方差或最小化特征协方差矩阵与单位矩阵之间的差异。这种方式不仅惩罚样本间相似性，还鼓励特征在不同维度上保持独立，从而让隐空间的不同方向对应更丰富的变化模式。在GNeRF中，可以将多样性损失施加在渲染图像经过判别器后的中间特征上，也可以同时对隐变量映射后的生成器特征施加去相关约束。实践表明，在判别器特征空间施加多样性损失通常比像素空间更稳定，因为它能更好地对齐人眼感知和语义差异。
除了直接惩罚相似度，还可以使用基于历史特征池的多样性损失。每次训练保存一批生成样本的特征，在计算多样性损失时不仅考虑当前批次，还从历史池中采样部分特征，扩大对比范围。这种方法特别适合GNeRF训练时批次较小的情况，因为小批次内样本数量有限，仅依靠当前批次可能无法提供足够的多样性统计信息。历史特征池还能防止生成器在相邻迭代之间缓慢退化到单一模式。
三、对抗训练的稳定化与多样性增强
多样性损失只能从生成器一侧施加约束，对抗训练的稳定性同样关键。如果判别器过强，生成器收到的梯度会变得稀疏甚至消失，此时生成器更容易退回到已经掌握的模式。引入梯度惩罚是稳定对抗训练的有效手段。例如在真实图像上对判别器输出施加R1梯度惩罚，可以限制判别器在真实数据流形附近的梯度范数，使得生成器在靠近真实分布时仍能获得平滑的梯度信号。
def r1_penalty(real_pred, real_img):
grad_real, = torch.autograd.grad(
outputs=real_pred.sum(), inputs=real_img, create_graph=True)
return grad_real.pow(2).reshape(grad_real.size(0), -1).sum(1).mean()
在判别器中加入小批次判别特征也能增强多样性。具体做法是计算每个样本与同一批次中其他样本在某个特征空间中的差异统计量，并将该统计量拼接到判别器的后续输入中。这样判别器不仅判断单张图像是否真实，还能感知一批样本是否彼此相似。如果生成器只输出少数几种模式，其他样本与该样本特征差异会很小，判别器就能识别出这种批次级别的异常，从而给生成器施加额外压力。
可微数据增强同样有助于缓解模式崩溃。对真实图像和渲染图像应用相同的随机增强，例如随机裁剪、颜色扰动或翻转，可以增加判别器的训练样本多样性，防止其过度记忆真实数据。增强操作需要可微，以便梯度能够反向传播到生成器。在GNeRF中，由于渲染图像在训练过程中不断变化，增强策略应在每次迭代中保持一致，避免引入额外的分布偏移。此外，使用非饱和对抗损失和适当的判别器学习率也能减少训练震荡，让多样性损失更好地发挥作用。
四、训练流程与调参建议
在GNeRF训练中，建议将多样性损失作为生成器总损失的一部分，与对抗损失联合优化。生成器总损失可以写成对抗损失加上多样性损失乘以权重因子。判别器则同时接收真实图像和渲染图像，并加入R1梯度惩罚。训练时先更新判别器，再更新生成器，保证判别器能够跟上生成器变化。如果模式崩溃已经发生，可以暂时增大多样性损失权重，并降低生成器学习率，让生成器从一个过于集中的状态中逐步恢复。
z = torch.randn(B, latent_dim) fake_img = generator(z) fake_pred, fake_feat = discriminator(fake_img, return_features=True) real_img = next(iter(loader)) real_pred, real_feat = discriminator(real_img, return_features=True) loss_adv = F.softplus(-fake_pred).mean() loss_div = diversity_loss(fake_feat) div_weight = 0.1 loss_g = loss_adv + div_weight * loss_div loss_g.backward()
评估GNeRF是否仍然存在模式崩溃时，不能只看FID或IS这类整体指标，因为它们对少量重复模式可能不够敏感。可以计算生成样本之间的LPIPS距离或特征空间中的最近邻距离，观察距离分布是否过于集中。也可以固定隐变量进行插值，检查渲染图像和几何结构是否连续变化。如果插值路径上的输出突然跳变或长期不变，说明生成器仍然没有充分覆盖隐空间。调整多样性损失权重、梯度惩罚系数以及判别器特征层的选择，可以在多样性和渲染质量之间找到平衡。
总体来看，解决GNeRF模式崩溃需要从损失设计和对抗训练机制两方面同时入手。多样性损失提供显式的稀疏化或去相关信号，对抗训练的稳定化则保证这些信号能在训练过程中有效传递。两者结合能够显著改善不同隐变量对应的渲染结果多样性，同时保持较高的单张图像真实度。对于三维生成任务，这种稳定性尤为重要，因为模式崩溃不仅影响图像质量，也会破坏场景几何和相机视角的合理性。