导读:近期更新了《梯度溢出》的相关内容,包括《混合精度训练出现NaN怎么办?Loss Scaling原理与溢出检查方法详解》。如果 梯度溢出 对你有帮助,请转发和分享本内容。知识因分享而拥有更大能量,感谢您成为这传播链条中的重要一环。
混合精度训练出现NaN怎么办?Loss Scaling原理与溢出检查方法详解 训练到一半突然出现NaN,loss变成inf,这几乎是每个尝试混合精度训练的人都会踩的坑。问题的根源在于FP16的数值范围有限,权重更新时的小梯度乘以学习率后很容易下溢成零,而某些中间计算又会超出上限溢出。本文从FP16的数值表示入手,分析动态范围缩小带来的上溢与下溢两类风险,详... 栏目:AI大模型 时间:09-04 混合精度训练 Loss Scaling 梯度溢出