训练深度神经网络时，你可能遇到过这样的情况：loss一开始还在正常下降，突然某一轮变成了NaN，或者loss曲线从某个时刻起完全平掉，模型参数再也不更新。这两种现象背后最常见的元凶就是梯度爆炸和梯度消失。当网络层数加深，梯度在反向传播过程中被逐层放大或压缩，最终导致浅层参数要么被巨幅更新而发散，要么因为梯度趋近于零而失去学习能力。本文将围绕权重初始化和梯度裁剪这两个核心手段，详细讲解如何识别、预防和治理梯度异常问题。
一、梯度为什么会爆炸或消失：从链式法则说起
反向传播的本质是链式法则的逐层应用。以一个简单的L层全连接网络为例，假设每一层都是线性变换加激活函数，那么第1层参数的梯度可以写成后面所有层雅可比矩阵的连乘形式。如果每一层的雅可比矩阵的奇异值普遍大于1，这个连乘结果会随层数增加呈指数级增长，这就是梯度爆炸；反之如果普遍小于1，连乘结果会指数级衰减到接近零，这就是梯度消失。
激活函数的选择对这一现象影响很大。以Sigmoid为例，其导数的最大值只有0.25，且在输入绝对值较大时导数趋近于0。一个10层的网络，哪怕每层只贡献0.25的衰减系数，传到第一层时梯度也已经缩小到原来的百万分之一以下，浅层基本学不到东西。ReLU在正区间的导数恒为1，一定程度上缓解了这个问题，但如果初始化不当，ReLU神经元大量落入死区，同样会造成梯度断流。
初始化也直接影响梯度的数值范围。如果把所有权重初始化为0，所有神经元的梯度完全相同，网络失去对称性破缺，等价于每层只有一个神经元。如果初始化的方差过大，前向传播时激活值会逐层放大，反向传播时梯度同样会被放大，训练极不稳定。这就是为什么合理的初始化方案要保证信号在前向和反向两个方向上的方差基本保持不变。
二、权重初始化：让方差在网络中稳定传递
Xavier初始化的原理与适用场景
Xavier初始化由Xavier Glorot提出，核心思想是让每一层输出的方差等于输入的方差，同时反向传播时梯度的方差也保持稳定。对于 fan_in 个输入、fan_out 个输出的全连接层，权重从均匀分布 U(-a, a) 中采样，其中 a = sqrt(6 / (fan_in + fan_out))。这一方案在Sigmoid和Tanh激活函数下表现良好，因为这类函数在零点附近近似线性，方差守恒的假设基本成立。
He初始化：ReLU家族的最佳搭档
当网络使用ReLU激活时，Xavier初始化会低估所需要的方差。因为ReLU会把一半的神经元输出置零，相当于信号方差减半，所以需要把方差放大一倍来补偿。He初始化正是为此设计，权重从均值为0、方差为 2 / fan_in 的正态分布中采样。实践证明，在深层卷积网络中配合ReLU使用He初始化，能让各层激活值的方差长期保持稳定，训练收敛速度明显快于随机小数初始化。
在PyTorch中可以直接使用官方提供的初始化方法，也可以对特定层自定义初始化：
import torch
import torch.nn as nn
class MyNet(nn.Module):
def __init__(self):
super().__init__()
self.fc1 = nn.Linear(784, 256)
self.fc2 = nn.Linear(256, 10)
def init_weights(self, m):
if isinstance(m, nn.Linear):
# He初始化，适配ReLU激活
nn.init.kaiming_normal_(m.weight, nonlinearity='relu')
if m.bias is not None:
nn.init.zeros_(m.bias)
net = MyNet()
net.apply(net.init_weights)
除了上述两种方案，还有针对Tanh的LeCun初始化，以及近年来流行的正交初始化。正交初始化让权重矩阵的奇异值全部为1，理论上能完美保持梯度范数，在RNN中效果尤其好。需要注意的是，BatchNorm等归一化层可以弱化初始化的影响，但不能完全替代它，一个糟糕的初始化依然可能让训练初期就陷入糟糕的区域。
三、梯度裁剪：训练稳定性的最后一道防线
按值裁剪与按范数裁剪
梯度裁剪不会预防梯度异常，而是在梯度出现异常时强行干预。按值裁剪（clip by value）把每个梯度元素限制在 [-c, c] 区间内，超出部分直接截断。按范数裁剪（clip by norm）则是计算整个梯度向量的L2范数，如果超过阈值就按比例缩放整个向量，保持方向不变。两者相比，按范数裁剪更常用，因为它只改变梯度的长度而不改变方向，对优化路径的破坏更小。
PyTorch中调用 torch.nn.utils.clip_grad_norm_ 即可实现按范数裁剪，注意它必须写在 loss.backward() 之后、optimizer.step() 之前：
optimizer.zero_grad() loss = criterion(model(x), y) loss.backward() # 将所有参数梯度的总范数裁剪到max_norm以内 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) optimizer.step()
在RNN和Transformer中的应用
循环神经网络由于时间维度上的权重共享，梯度需要沿时间步连乘，爆炸风险远高于前馈网络，因此梯度裁剪几乎是RNN训练的标配操作。经典的做法是将max_norm设置为1到5之间，具体数值可以通过观察训练日志中的梯度范数分布来确定。在Transformer中，虽然残差连接和层归一化已经缓解了大部分梯度问题，但大模型训练时通常会结合全局范数裁剪和学习率预热一起使用，进一步保证数值稳定。
四、工程实践清单：遇到梯度异常时怎么办
当训练出现NaN或loss停滞时，建议按以下顺序排查。第一步，检查数据本身是否含有异常值、无穷大或未处理的NaN。第二步，在backward之后打印梯度范数，用 torch.norm(p.grad) 遍历各层参数，观察是哪一层先出现异常。第三步，确认初始化方案是否与激活函数匹配，ReLU配He初始化，Tanh配Xavier初始化。第四步，加入梯度裁剪并适当降低学习率。第五步，考虑在网络中插入BatchNorm或LayerNorm，归一化中间激活值的分布。
此外还有一些辅助手段值得了解：使用残差连接为梯度提供直达通路，是深层网络必备的设计；对损失函数加平滑处理，避免个别极端样本产生巨大梯度；混合精度训练时配合梯度缩放，防止半精度下小梯度下溢为0。权重初始化、归一化层、梯度裁剪三者各有分工：初始化决定训练起点是否健康，归一化维持训练过程的稳定，裁剪则兜底防住突发异常。三者结合使用，才能让深层网络的训练既收敛快又不容易崩掉。