模型训练结束进入推理阶段后，精度、延迟和显存往往被优先关注，权重初始化对最终权重空间的影响却很少被重新审视。实际上，初始化标准差会通过训练早期的梯度流动，在参数中留下尺度偏好。即使经过大量迭代，部分层仍然可能保留初始化的统计特征，尤其是当学习率较小、训练轮次不足或使用了较强正则时。推理稳定性首先取决于激活值在不同层之间是否保持合理范围，而初始化正是这个范围的第一决定因素。
一、初始化偏差如何传导到推理阶段
权重初始化决定网络在训练第一步时的激活方差。若初始化后某一层的输出方差远大于输入方差，经过多层堆叠后，靠近输出层的激活值可能达到非常大的数量级。训练中优化器虽然会调整权重，但早期梯度更新的幅度同样受初始尺度影响。尺度偏大的层容易出现梯度爆炸或激活饱和，导致训练后的权重仍然保留较大的范数。即使训练损失最终下降，这种尺度偏好也可能未被完全消除。
推理阶段没有反向传播，也没有批归一化的批次统计量可以依赖。模型只能使用训练阶段固定下来的权重和运行时统计量。此时如果某层输出方差持续偏大，激活函数可能将大部分输入映射到饱和区。饱和区在推理时虽然不存在梯度消失问题，但会让输入变化被非线性压缩，造成不同样本之间的输出差异减小；反过来，如果方差过小，输出接近线性区，噪声会被等比例传递，模型对输入扰动的抵抗力下降。更隐蔽的是，当不同通道的初始化尺度不一致时，推理过程中某些通道几乎不激活，模型实际容量下降，但常规精度指标很难暴露这一点。
可以用一个简单的多层全连接网络观察这种传导。下面代码保持输入和层结构不变，仅改变初始化标准差，并查看最后一层输出的标准差。初始化标准差从0.01提高到1.0时，10层Tanh网络输出尺度会出现数量级差异。
import torch
import torch.nn as nn
def forward_stats(model, x):
stats = []
for layer in model:
x = layer(x)
stats.append((x.mean().item(), x.std().item(), x.abs().max().item()))
return stats
torch.manual_seed(0)
x = torch.randn(1000, 64)
for std in [0.01, 0.1, 1.0]:
layers = []
for _ in range(10):
fc = nn.Linear(64, 64)
nn.init.normal_(fc.weight, mean=0.0, std=std)
nn.init.zeros_(fc.bias)
layers.append(fc)
layers.append(nn.Tanh())
model = nn.Sequential(*layers)
stats = forward_stats(model, x)
print(f"init std={std}, final layer std={stats[-1][1]:.6f}")
这段结果说明，初始化不是只影响训练起点。若模型没有归一化层，输出尺度问题会直接进入softmax，产生过度自信或过度平滑的预测分布。推理时同一输入稍有变化，输出概率可能大幅跳变，这正是稳定性差的直观表现。
二、Xavier与Kaiming初始化背后的方差保持逻辑
Xavier初始化也被称为Glorot初始化，出发点很明确：在随机初始化时，尽量让每一层前向传播的方差和反向传播的方差保持一致。对于输入维度为fan_in、输出维度为fan_out的全连接层，权重从均匀分布U(-a,a)采样，其中a等于根号下6除以fan_in加fan_out。这种设置假设激活函数在零点附近近似线性，因此对tanh和sigmoid等对称激活函数比较友好。若网络中全部使用线性激活，Xavier初始化可以在较深网络中保持信号尺度基本不变。
Kaiming初始化专门针对ReLU类激活函数做了修正。ReLU会把负半轴置零，前向传播时大约一半的神经元被丢弃，方差因此减半。为了重新保持方差，权重标准差应设置为根号下2除以fan_in，均匀分布边界则为根号下6除以fan_in。如果使用LeakyReLU，负半轴斜率不为零，还需要根据斜率调整增益参数。PyTorch中的kaiming_uniform_默认参数并不总能匹配实际激活函数，使用时最好明确传入nonlinearity，否则不同版本或不同默认值可能带来初始化尺度偏差。
这些推导基于随机权重和独立输入假设，实际网络包含残差连接、注意力、归一化层时，单一公式不能覆盖全部情况。但理解它们能帮助判断：为什么某些模型换成ReLU后如果不改初始化会收敛变慢；为什么深度Transformer需要更小的初始化标准差来避免注意力分数过大。推理稳定性最终依赖训练结束时各算子输入输出是否落在激活函数和数值精度友好的区间，而初始化策略是建立这一区间的第一步。
三、推理不稳定时的排查路径与初始化校准
当模型在训练集上表现正常，但部署后出现输出波动、对输入噪声敏感或量化误差急剧增大时，可以从初始化遗留问题入手排查。第一步是加载模型，输入一批与真实分布接近的数据，记录每层输出的均值、标准差、最大值和最小值。若某些层输出标准差明显偏离其他层，或大量激活值集中在饱和区，说明该层尺度控制失败。这种检查比只看最终准确率更能定位问题层。
第二步是检查初始化与归一化层的配合。批归一化在推理时使用运行时均值方差，如果初始化尺度不合适，训练时批次统计量可能长期不稳定，导致运行时统计无法代表真实分布。层归一化虽然对单样本归一化，但权重尺度仍然影响后续激活的大小。对于没有归一化的轻量CNN或小模型，初始化尺度的影响更加直接，甚至某些通道可能从头到尾都没有被有效激活。
第三步是进行权重缩放校准或按层重新初始化。对于已经训练好的模型，不建议直接随机重置全部权重，但可以对问题层做等比例缩放：将权重乘以小于1的系数，观察输出是否更稳定。更可靠的做法是在模型定义阶段就根据激活函数选用初始化策略，并为每个子模块写前向方差单元测试。下面示例按层类型自动初始化，并输出每层方差，便于在训练前发现尺度问题。
import torch
import torch.nn as nn
def init_model(model):
for name, module in model.named_modules():
if isinstance(module, nn.Linear):
nn.init.kaiming_normal_(module.weight, mode='fan_in', nonlinearity='relu')
if module.bias is not None:
nn.init.zeros_(module.bias)
elif isinstance(module, nn.Conv2d):
nn.init.kaiming_normal_(module.weight, mode='fan_out', nonlinearity='relu')
if module.bias is not None:
nn.init.zeros_(module.bias)
def check_variance(model, x):
with torch.no_grad():
y = x
for name, module in model.named_children():
y = module(y)
if hasattr(module, 'weight') and module.weight is not None:
print(name, y.std().item())
需要说明，这段代码中的named_children只遍历顶层模块，实际工程中应递归遍历并跳过没有权重的容器模块。推理稳定性的保障更适合在训练前建立：初始化策略、归一化位置、激活函数选择三者要一起设计，而不是等部署后出现波动再回头补救。