如何用He初始化与正交初始化解决梯度消失问题? 权重初始化看上去只是训练前的一个小步骤,但它决定了信号在网络中的传播方式。当权重初始化得过小,前向传播中每经过一层,激活值的方差就会缩小;反向传播时梯度连续乘以这些小于1的权重,到达浅层时几乎衰减为零,这就是梯度消失。He初始化从ReLU的负半轴输出为零这一特性出发,将... 栏目:语言推理 时间:10-03 He初始化 正交初始化 梯度消失