TensorFlow的自动求导原理分析
更新时间：2021年05月26日 11:48:03 作者：qq_25094489
这篇文章主要介绍了TensorFlow的自动求导原理分析，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
原理：
TensorFlow使用的求导方法称为自动微分（Automatic Differentiation），它既不是符号求导也不是数值求导，而类似于将两者结合的产物。
最基本的原理就是链式法则，关键思想是在基本操作（op）的水平上应用符号求导，并保持中间结果（grad）。
基本操作的符号求导定义在\tensorflow\python\ops\math_grad.py文件中，这个文件中的所有函数都用RegisterGradient装饰器包装了起来，这些函数都接受两个参数op和grad，参数op是操作，第二个参数是grad是之前的梯度。
链式求导代码：
举个例子：
补充：聊聊Tensorflow自动求导机制
自动求导机制
在即时执行模式下，Tensorflow引入tf.GradientTape()这个“求导记录器”来实现自动求导。
计算函数y(x)=x^2在x = 3时的导数：
import tensorflow as tf
#定义变量
x = tf.Variable(initial_value = 3.)
#在tf.GradientTape()的上下文内，所有计算步骤都会被记录以用于求导
with tf.GradientTape() as tape:
#y = x^2
y = tf.square(x)
#计算y关于x的导数(斜率，梯度)
y_grad = tape.gradient(y,x)
print([y,y_grad])
输出：
[<tf.Tensor: shape=(), dtype=float32, numpy=9.0>, <tf.Tensor: shape=(), dtype=float32, numpy=6.0>]
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
yaml文件是一种数据序列化语言,广泛用于配置文件、日志文件、等,本文给大家介绍python处理yaml文件的操作方法,感兴趣的朋友跟随小编一起看看吧2023-11-11
在本篇文章里小编给大家整理的是一篇关于python缺失值的解决方法总结，有需要的朋友们可以跟着学习下。2021-06-06
这篇文章主要介绍了python区块及区块链的开发详解的相关资料,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
这篇文章主要介绍了python利用paramiko实现交换机巡检，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下2020-09-09
Python Pandas list列表数据列拆分成多行的方法实现
这篇文章主要介绍了Python Pandas list(列表)数据列拆分成多行的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-12-12
Python cookbook（数据结构与算法）字典相关计算问题示例
这篇文章主要介绍了Python字典相关计算问题,结合实例形式总结分析了Python字典相关的最小值、最大值、排序等操作相关实现技巧,需要的朋友可以参考下2018-02-02
50行Python代码实现视频中物体颜色识别和跟踪（必须以红色为例）
本文通过50行Python代码实现视频中物体颜色识别和跟踪效果，通过实例截图和实例代码给大家讲解的非常详细，需要的朋友可以参考下2019-11-11
这篇文章主要介绍了django foreignkey(外键)的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
这篇文章主要介绍了Python 操作 Excel 之 openpyxl 模块，文章基于python的相关资料展开对 openpyxl 模块的详细介绍，具有一定的参考价值，需要的小伙伴可以参考一下2022-05-05
这篇文章主要介绍了Python实现属性可修改的装饰器方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
最新评论