生成式3D建模这几年发展很快，从早期的voxel GAN到现在的latent diffusion、3D Gaussian Splatting，效果确实惊艳。但做过的朋友大多碰到过同一个烦人的问题：训练到中后期，模型输出的形状开始千篇一律，生成椅子永远是那几把椅子，生成汽车永远长得差不多。这就是模式崩溃（mode collapse）在3D领域的典型表现。这篇文章围绕3D生成中的模式崩溃展开，重点讨论多样性损失的来源、噪声在其中扮演的角色，以及工程上可行的缓解方案。
为什么3D生成特别容易模式崩溃
3D数据的维度灾难比2D图像严重得多。一张256x256的图片只有6万多个像素，而一个中等分辨率的体素网格，比如128x128x128，直接就是200多万个维度。维度越高，生成器要覆盖的数据流形就越复杂，而判别器或扩散模型在学习过程中天然倾向于先拟合密度最大的区域，也就是训练集里最常见的那些形状。
以体素GAN为例，生成器的目标函数通常是骗过判别器，但这个目标本身并不惩罚多样性。如果训练集里有5000把椅子、500张桌子，生成器很快会发现只要输出"标准椅子"的形状就能获得稳定的低损失，于是梯度彻底放弃了对桌子和其他椅子变体的探索。这在2D图像GAN里同样存在，但3D数据的离散几何结构让崩溃后的输出看起来更加明显——因为人对三维形状的相似度极其敏感。
另一个容易被忽视的因素是数据预处理。很多3D数据集（比如ShapeNet）在标准化对齐时会把所有模型摆到统一朝向、统一尺度上，这本身没错，但如果类别本身不均衡，再配合强大的数据增强，模型学到的先验会进一步向多数类倾斜，多样性损失就这样悄悄累积起来了。
多样性损失的三个主要来源
第一个来源是损失函数层面的。在VAE架构或latent diffusion的第一阶段，KL散度项会把潜空间压向标准正态分布。这个约束太强时，潜编码之间的区分度被压缩，解码器拿到的输入几乎是同一个点附近的小扰动，输出自然高度相似。很多开源3D生成项目默认的KL权重是1e-4到1e-6，但换数据集后不重新调，就容易出现要么模糊要么雷同的两难。
第二个来源是采样策略。扩散模型推理时如果始终从固定的噪声种子出发，或者分类器自由引导（CFG）的scale设置过高，生成结果会被引导信号牢牢锁死。CFG scale超过10之后，3D形状的结构会明显趋同，细节纹理虽然锐利，但整体形态的创新性大幅下降。
第三个来源是数据本身。可以简单验证一下：
import torch
# 统计潜编码之间的平均两两距离，判断潜空间是否塌缩
def latent_diversity(z):
# z: [B, D] 一批潜编码
dist = torch.cdist(z, z) # 成对距离矩阵
n = z.size(0)
mask = ~torch.eye(n, dtype=torch.bool, device=z.device)
avg_dist = dist[mask].mean().item()
return avg_dist
# 训练过程中定期检测
# 如果 avg_dist 持续下降并趋近于0，说明潜空间正在塌缩
把这段诊断代码挂到训练循环里，每若干个epoch记录一次。如果平均两两距离持续走低，基本可以确认是潜空间塌缩；如果潜编码距离正常但输出相似，那问题更可能出在解码器或采样阶段。
噪声：是敌人还是帮手
提到噪声，直觉上觉得它破坏几何细节。确实，3D生成对噪声比2D更敏感，因为体素或点云上的一点扰动就可能造成表面破碎、悬浮碎片。但在对抗模式崩溃这件事上，恰到好处的噪声反而是最便宜有效的手段。
具体来说有几种用法。一是在潜编码上注入受控扰动，也就是常说的z-noise技巧：
# 在解码前对潜编码施加小幅度噪声，提升输出多样性 z = encoder(x) z_perturbed = z + 0.05 * torch.randn_like(z) # 噪声强度需实验调参 output = decoder(z_perturbed)
这个做法的原理很直白：给解码器的输入点周围的邻域也被映射到合理的输出流形上，等价于人为扩充了每条训练样本的覆盖范围。噪声幅度是关键超参数，太大导致几何破碎，太小没效果。点云数据上一般取潜编码标准差的5%到15%之间作为起点。
二是在扩散模型采样阶段引入额外的随机性。部分推理框架为了稳定输出会使用确定性采样（比如DDIM的eta=0），确定性采样一致性虽好，但多样性天然受限。把eta恢复为1，或者在采样中途重新注入噪声，往往能拿回不少多样性，代价是单次结果的一致性下降，需要根据业务权衡。
三是mini-batch discrimination的思路，借鉴自2D GAN：让判别器看到batch内样本之间的特征关系，从而惩罚过于相似的生成结果。在3D场景下实现成本略高，但配合谱归一化效果不错。
一份实用的排查与修复清单
遇到模式崩溃，建议按下面顺序排查：
- 先检查训练数据分布，统计每个类别的样本数，类别不均衡时优先做重采样或加权
- 用前文的latent_diversity函数监控潜空间，区分塌缩发生在编码端还是解码端
- 调整KL散度权重，建议做一次从1e-3到1e-7的对数尺度扫描，观察重建质量与多样性的权衡曲线
- 降低CFG scale到3到7之间重新采样，对比生成结果的形态丰富度
- 在潜编码上加入5%到15%的扰动噪声，观察输出是否解锁新形态
- 如果仍不理想，考虑引入多样性正则项，比如对同一输入的不同扰动输出计算特征距离并将其最大化
最后一个经验之谈：模式崩溃往往是渐进发生的，等肉眼察觉到输出雷同时，模型可能已经训练了太多步。把多样性监控做成训练流水线的固定指标，比事后补救省心得多。3D生成的评估也不要只看单张效果，用最小匹配距离（MMD）和覆盖率（Coverage）这类成对指标，才能真实反映模型对数据分布的覆盖能力。
总结一下，3D生成的模式崩溃本质上是高维空间里生成器走捷径的表现，多样性损失来自损失函数、采样策略和数据分布三方面，而噪声用得好是解药、用得猛是毒药。理解了这些机制，再配合系统化的监控手段，大部分崩溃问题都能在早期被发现和控制。