导读:近期更新了《自动微分》的相关内容,包括《PyTorch自动微分机制详解:autograd包的工作原理与常见问题解答》、《Python脚本如何利用tf.GradientTape实现梯度检查验证模型求导正确性》。如果 自动微分 对你有帮助,请转发和分享本内容。知识因分享而拥有更大能量,感谢您成为这传播链条中的重要一环。
PyTorch自动微分机制详解:autograd包的工作原理与常见问题解答 深度学习框架离不开自动微分,PyTorch中的autograd包就是干这件事的核心组件。为什么调用backward后梯度有时是None?计算图是什么时候构建的?requires_grad和no_grad到底怎么用?本文从动态计算图的构建原理讲起,逐步分析前向传播时梯度如何被记录、反向传播时链式法则怎样执行,... 栏目:AI大模型 时间:09-06 PyTorch autograd 自动微分 反向传播
Python脚本如何利用tf.GradientTape实现梯度检查验证模型求导正确性 在深度学习模型调试中,数值梯度与解析梯度不一致常常意味着反向传播代码存在错误。很多开发者用Python写训练脚本时,不清楚怎样借助TensorFlow的tf.GradientTape记录前向过程并自动求导。梯度检查通过有限差分近似数值梯度,再与 tape 算出的解析梯度比对,能快速定位求导漏洞... 栏目:Python 时间:07-24 Python tf_GradientTape 梯度检查 自动微分 深度学习