在文本到三维生成的技术演进中，分数蒸馏采样凭借其无需大量三维数据标注的优势，迅速成为隐式神经渲染领域的核心驱动力。然而，当我们尝试将二维扩散模型的先验知识蒸馏到三维表示中时，常常会遭遇极其严重的数值不稳定问题。SDS损失函数在反向传播过程中产生的梯度，其幅值往往会在某些视角或特定时间步长下突然飙升，导致模型参数发生震荡甚至彻底崩溃。这种现象不仅会破坏生成资产的几何结构，还会使得纹理细节变得模糊不清。为了有效应对这一挑战，深入理解并应用梯度控制技术显得尤为关键。
剖析SDS梯度爆炸的底层根源
要解决梯度爆炸，首先必须弄清楚其产生的物理与数学机制。SDS的核心思想是利用预训练的扩散模型来优化三维场景的参数，使得从任意视角渲染出的图像在扩散模型看来是符合真实数据分布的。具体而言，SDS通过计算当前渲染图像在扩散过程中的噪声预测与实际添加的噪声之间的差异，并将这个差异作为梯度来更新三维场景参数。
然而，这种直接利用扩散模型分数匹配梯度的做法存在先天缺陷。预训练的扩散模型通常是在二维图像空间上训练的，当输入的渲染图像处于模型训练分布之外时，模型预测的噪声会变得极不准确。这种分布外效应会导致计算出的梯度具有极高的方差。特别是在时间步长较小或较大的极端区域，扩散模型的去噪过程本身就不稳定，进而使得反馈给三维场景的梯度幅值呈现指数级增长。
此外，三维场景的参数化方式（如基于多层感知机的神经辐射场）对梯度的异常波动极其敏感。一旦某一视角的梯度出现尖峰，它不仅会破坏当前视角的几何结构，还会因为神经网络的权重共享特性，迅速传播到其他视角，引发连锁反应。这种高方差梯度的不断累积，最终表现为整个训练过程的发散，也就是我们常说的梯度爆炸。
梯度裁剪：硬性约束边界的安全阀
面对突如其来的梯度尖峰，最直接且有效的防御手段是梯度裁剪。梯度裁剪的核心逻辑是在反向传播计算出梯度后、优化器更新参数前，检查梯度的范数。如果梯度的范数超过了预设的阈值，就按比例将其缩放回阈值范围内。这相当于为参数更新步长设置了一个硬性的上限，无论计算出的梯度多么离谱，实际执行的更新幅度都被限制在安全范围内。
在PyTorch框架中，实现梯度裁剪非常简单，通常只需在调用loss.backward()之后、optimizer.step()之前插入一行代码。我们可以选择按全局范数裁剪，也可以按每个参数的绝对值裁剪。对于SDS这种容易在局部产生极端梯度的场景，按全局范数裁剪通常是更好的选择，因为它能保持整体参数更新的相对比例。
下面是一个在SDS训练循环中应用梯度裁剪的典型代码示例：
import torch
import torch.nn as nn
# 假设 model 是三维场景的神经表示，optimizer 是优化器
model = NeRFModel().cuda()
optimizer = torch.optim.Adam(model.parameters(), lr=5e-4)
# 模拟SDS训练循环
for iter in range(max_iters):
optimizer.zero_grad()
# 渲染当前视角图像并计算SDS损失
rendered_image = render(model, camera_pose)
sds_loss = compute_sds_loss(rendered_image, diffusion_model)
# 反向传播计算梯度
sds_loss.backward()
# 执行梯度裁剪，限制全局范数不超过1.0
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
# 更新参数
optimizer.step()
尽管梯度裁剪能够立竿见影地防止训练崩溃，但它并非完美的解决方案。当梯度被频繁裁剪时，意味着模型实际上偏离了最优的下降方向。这会导致训练后期的收敛速度明显变慢，甚至可能陷入局部最优解。因此，梯度裁剪更像是一张安全网，它保证了训练过程不会死亡，但并没有从根本上消除高方差梯度带来的负面影响。
损失缩放：平滑方差的自适应调节器
如果说梯度裁剪是暴力截断，那么损失缩放则是更为温和的自适应调节。在SDS的原始论文中，作者发现并非所有时间步长和视角产生的梯度都是有用的。有些梯度幅值极大，纯粹是噪声。损失缩放的核心思想是根据梯度的置信度或幅值，动态调整每个样本对总损失的贡献权重，从而在计算损失时就将极端梯度的影响降至最低。
一种常见的损失缩放策略是基于时间步长的加权。在扩散模型中，不同时间步长对应的去噪难度不同。我们可以为那些模型预测较为准确、梯度较为稳定的时间步长赋予更高的权重，而对于容易产生极端梯度的时间步长赋予极低的权重。此外，还可以根据渲染图像的当前置信度来动态调整损失权重，随着训练的进行，逐渐增加对细节优化的权重。
另一种更为直接的损失缩放方法是对计算出的SDS梯度本身进行归一化。在计算完梯度后，不直接使用原始幅值，而是将其除以一个移动平均的梯度幅值。这样，无论原始梯度多大，实际用于更新的梯度都被限制在一个相对稳定的尺度内。这种方法结合了梯度裁剪的思想，但更加平滑，不会产生硬截断带来的方向突变。
下面展示一种基于梯度幅值归一化的损失缩放实现思路：
import torch
def compute_scaled_sds_grad(rendered_image, diffusion_model, grad_ema):
"""
计算带有损失缩放机制的SDS梯度
"""
# 获取扩散模型预测的噪声梯度
noise_pred = diffusion_model(rendered_image)
# 计算原始的SDS梯度方向
raw_grad = compute_sds_gradient(noise_pred)
# 计算当前梯度的L2范数
grad_norm = torch.norm(raw_grad)
# 更新梯度范数的指数移动平均（EMA）
grad_ema = 0.95 * grad_ema + 0.05 * grad_norm
# 根据EMA对原始梯度进行缩放
# 如果原始梯度远大于EMA，则按比例缩小；反之亦然
if grad_norm > 1e-8:
scaled_grad = raw_grad * (grad_ema / grad_norm)
else:
scaled_grad = raw_grad
return scaled_grad, grad_ema
在实际工程实践中，将梯度裁剪与损失缩放结合使用往往能取得最佳效果。损失缩放在前向传播或梯度计算阶段平滑了大部分方差，使得大部分更新步长处于合理区间；而梯度裁剪作为最后一道防线，兜底处理那些极少数漏网的极端尖峰。这种组合策略不仅保证了训练的绝对稳定性，还最大程度地保留了原始梯度包含的几何与纹理优化信息，使得最终生成的三维资产在保真度和细节表现上都达到了工业级可用标准。