权重初始化策略为什么能决定推理稳定性? 神经网络推理时输出是否稳定,往往在前向传播的方差变化中已经埋下伏笔。权重初始化看似只是训练开始前的一步,却决定了激活值在各层之间的尺度是否会被持续放大或压缩。如果初始化标准差过大,深层输出容易进入饱和区,推理时对输入扰动非常敏感;如果初始化过小,信号逐渐衰减,模型... 栏目:语言推理 时间:10-07 权重初始化 推理稳定性 神经网络