3D生成模型的训练日志中如果突然出现loss=nan，同时生成的网格顶点坐标变成inf或出现大面积破面，通常意味着数值计算已经发生了不可逆的发散。这类问题在基于隐式神经场的3D重建、点云生成以及网格变形网络中尤其常见。要恢复训练，不能只靠调小学习率，而需要从数值精度、几何运算安全和梯度控制三个层面同时排查。
一、3D模型生成NaN的典型来源
3D生成网络的前向计算链路比普通图像分类更长，其中涉及坐标变换、距离场计算、几何特征提取以及多尺度特征融合。任何一个环节出现非法浮点值，都可能沿着反向传播扩散到整个模型。最先需要检查的是浮点精度。很多3D生成模型为了加速会启用半精度浮点float16，而float16的表示范围只有约6e-5到6e4，一旦中间激活值超出这个范围就会出现inf。例如在NeRF或SDF网络中，位置编码经常使用exp函数，当输入坐标较大时，exp(x)很容易从float16溢出为inf，后续的inf-inf或inf/inf就会产生NaN。
几何运算中的退化情况是3D模型特有的另一个高风险点。计算顶点法向量时，通常需要先求两条边的叉积，再对叉积结果做归一化。如果某个三角形退化为线段甚至一个点，叉积向量可能变成零向量，此时直接除以模长就会得到0/0，产生NaN。类似的问题也出现在四元数归一化、旋转矩阵正交化、点云邻域协方差矩阵求逆等操作中。这些几何计算不会在二维视觉任务中出现，因此很多开发者最初接触3D生成模型时会忽略这些陷阱。
损失函数中的非法运算同样不可忽视。点云生成常用的Chamfer Distance需要计算最近邻距离的平方，如果点云中存在异常远的点，距离平方可能达到1e20。虽然1e20本身在float32中仍可表示，但如果后续对距离做log或sqrt操作，而距离又因为计算误差变成负值，就会得到NaN。渲染损失中如果颜色值因为激活函数选择不当而小于0，再送入对数函数，也会立即产生NaN。下面这个不安全的法向量计算就是一个典型例子。
import torch
def unsafe_normalize(v):
# 如果v的模长恰好为0，这里会得到NaN
return v / torch.norm(v, dim=-1, keepdim=True)
# 退化三角形示例
p0 = torch.tensor([0.0, 0.0, 0.0])
p1 = torch.tensor([1.0, 1.0, 1.0])
p2 = torch.tensor([1.0, 1.0, 1.0])
edge1 = p1 - p0
edge2 = p2 - p0
normal = torch.cross(edge1, edge2)
print(unsafe_normalize(normal)) # 输出包含nan
二、提升数值稳定性的实用方法
解决3D生成模型NaN问题，第一步不是调整优化器，而是给所有可能退化的计算加上保护。最常见的做法是在分母、对数输入和平方根输入中加入一个极小的正数epsilon，通常取1e-8到1e-12。例如归一化操作可以写成v / (norm(v) + eps)，这样即使模长为0，结果也是零向量而不是NaN。对于对数运算，需要先对输入做clamp，确保其大于0。对于平方根运算，同样要保证输入非负。这些处理虽然简单，但能消除绝大多数由除零和非法函数输入引起的NaN。
混合精度训练是3D生成模型常用的加速手段，但它也引入了额外的数值风险。在标准的混合精度流程中，前向和反向传播使用float16，参数更新则使用float32。反向传播时，较小的梯度在float16中可能下溢为0，导致参数无法更新；较大的梯度则可能溢出为inf。因此需要使用梯度缩放器GradScaler，在反向传播前将损失乘以一个较大的scale值，使小梯度也能被float16表示。更新参数前再对梯度进行unscale，并检查是否存在inf或NaN。如果发现非法梯度，应跳过本次参数更新，并适当降低scale值。
损失函数本身也可以设计得更稳健。以Chamfer Distance为例，可以对距离平方进行上限裁剪，避免极端距离主导损失。如果损失中包含对概率的对数运算，可以使用log_softmax或logsumexp技巧来避免指数溢出后再取对数。下面是一个加入数值保护的Chamfer Distance实现。
import torch
import torch.nn.functional as F
def safe_chamfer_distance(pred_points, target_points, max_dist=100.0):
# pred_points: [B, N, 3]
# target_points: [B, M, 3]
# 计算成对距离矩阵
diff = pred_points.unsqueeze(2) - target_points.unsqueeze(1)
dist2 = torch.sum(diff * diff, dim=-1)
# 限制距离平方的上限，避免极大值
dist2 = torch.clamp(dist2, max=max_dist)
# 对每个预测点找最近目标点的距离
min_dist2_pred = torch.min(dist2, dim=2)[0]
# 对每个目标点找最近预测点的距离
min_dist2_target = torch.min(dist2, dim=1)[0]
loss = torch.mean(min_dist2_pred) + torch.mean(min_dist2_target)
return loss
三、梯度裁剪：防止梯度爆炸的最后一道防线
即使前向传播已经足够稳定，反向传播中仍可能因为深层网络、长序列或注意力机制导致梯度范数急剧增大。3D生成模型经常堆叠多层MLP或Transformer，梯度在回传过程中会不断连乘，如果某些权重矩阵的谱范数大于1，梯度就会指数级增长。当梯度更新量过大时，参数会一步跳进数值不稳定区域，下一轮前向就可能产生NaN。梯度裁剪的目标是在保持梯度方向的前提下，限制单次更新的幅度，从而阻止参数进入危险区域。
梯度裁剪有两种常见策略：按值裁剪和按范数裁剪。按值裁剪是将每个梯度分量限制在[-clip_value, clip_value]区间内，计算量小，但会改变梯度方向。按范数裁剪是先计算所有参数的全局梯度范数，如果范数超过阈值，则将整个梯度向量按比例缩小到阈值。按范数裁剪能更好地保持梯度的相对方向，因此在3D生成任务中用得更多。PyTorch提供了torch.nn.utils.clip_grad_norm_函数，可以方便地在训练循环中调用。
import torch
from torch.cuda.amp import GradScaler, autocast
model = torch.nn.Linear(10, 1).cuda()
optimizer = torch.optim.Adam(model.parameters(), lr=1e-4)
scaler = GradScaler()
max_norm = 1.0
for data, target in dataloader:
data, target = data.cuda(), target.cuda()
optimizer.zero_grad()
with autocast():
output = model(data)
loss = torch.nn.functional.mse_loss(output, target)
# 反向传播时使用梯度缩放
scaler.scale(loss).backward()
# 必须先unscale，再裁剪梯度
scaler.unscale_(optimizer)
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm)
# 更新时再次检查梯度是否合法
scaler.step(optimizer)
scaler.update()
裁剪阈值的设定不能拍脑袋。阈值过小会导致梯度被过度压缩，模型收敛缓慢；阈值过大则起不到防止爆炸的作用。比较可靠的做法是在训练初期不启用裁剪，记录若干轮正常训练的梯度范数分布，然后选择接近其95分位数的值作为阈值。也可以在训练过程中动态调整阈值，例如当连续几次检测到梯度范数异常升高时，暂时降低学习率或增大裁剪强度。
四、NaN排查与监控的完整流程
当训练中已经出现NaN时，第一步是定位NaN在前向计算中的具体位置。可以在网络各个关键节点之后打印张量的最小值、最大值和均值，观察NaN是从哪一层开始出现的。也可以临时开启torch.autograd.detect_anomaly()，它会在反向传播时检查每一步操作是否产生NaN，并打印出具体的操作名称和调用栈。虽然开启这个功能会明显降低训练速度，但在调试阶段非常有效。
除了被动排查，主动监控梯度范数能帮助在NaN发生前发现问题。PyTorch可以让注册梯度钩子，在每次反向传播后统计各层梯度范数，如果某一层梯度范数持续偏高，或者某一轮突然增大几个数量级，就说明该层存在梯度爆炸风险。下面是一个注册全局梯度监控的示例。
import torch
def monitor_grad_norm(model, log_interval=10):
total_norm = 0.0
for name, param in model.named_parameters():
if param.grad is not None:
param_norm = param.grad.data.norm(2)
if torch.isnan(param_norm) or torch.isinf(param_norm):
print(f"非法梯度在参数 {name}")
return False
total_norm += param_norm.item() ** 2
total_norm = total_norm ** 0.5
print(f"当前全局梯度范数: {total_norm:.6f}")
return total_norm
# 在训练循环中调用
# if not monitor_grad_norm(model):
# break
最后还要检查输入数据本身。3D点云或网格数据在采集、采样和增强过程中可能混入孤立点、重复点或退化面。这些异常数据会在损失计算中产生极端值，从而诱发NaN。建议在数据加载阶段就进行过滤，例如删除坐标中包含inf或nan的点，剔除面积过小的三角面，并对点云坐标做标准化处理。只有数据、前向计算和反向传播三方面共同做好数值防护，3D生成模型的训练才能真正稳定下来。