使用tensorflow 实现反向传播求导

更新时间：2021年05月26日 11:58:37 作者：睡觉不准打呼噜

这篇文章主要介绍了使用tensorflow 实现反向传播求导，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教

看代码吧~

X=tf.constant([-1,-2],dtype=tf.float32)
w=tf.Variable([2.,3.])
truth=[3.,3.]
Y=w*X
# cost=tf.reduce_sum(tf.reduce_sum(Y*truth)/(tf.sqrt(tf.reduce_sum(tf.square(Y)))*tf.sqrt(tf.reduce_sum(tf.square(truth)))))
cost=Y[1]*Y
optimizer = tf.train.GradientDescentOptimizer(1).minimize(cost)
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print(sess.run(Y))
    print(sess.run(w))
    print(sess.run(cost))
 
    print(sess.run(Y))
    sess.run(optimizer)
 
    print(sess.run(w))

结果如下

W由[2,3]变成[-4，-25]

过程：

f=y0*y=w0*x0*w*x=[w1*x1*w0*x0,w1*x1*w1*x1,]

f对w0求导，得w1*x0*x1+0=6 ,所以新的w0=w0-6=-4

f对w1求导，得 w0*x0*x1+2*w1*x1*x1=28,所以新的w1=w1-28=-25

补充：【TensorFlow篇】--反向传播

一、前述

反向自动求导是 TensorFlow 实现的方案，首先，它执行图的前向阶段，从输入到输出，去计算节点
值，然后是反向阶段，从输出到输入去计算所有的偏导。

二、具体

1、举例

图是第二个阶段，在第一个阶段中，从 x =3和 y =4开始去计算所有的节点值

f ( x / y )=x 2 * y + y + 2

求解的想法是逐渐的从图上往下，计算 f ( x , y )的偏导，使用每一个连续的节点，直到我们到达变量节
点，严重依赖链式求导法则！

2.具体过程：

因为n7是输出节点，所以f=n7，所以𝜕f/𝜕𝑛7= 1

让我们继续往下走到n5节点，𝜕f/𝜕𝑛5=𝜕f/𝜕𝑛7∗𝜕𝑛7/𝜕𝑛5 . 我们已知𝜕f/𝜕𝑛7=1，所以我们需要知道𝜕𝑛7/𝜕𝑛5 ，因为n7=n5+n6，所以我们求得𝜕𝑛7/𝜕𝑛5=1，所以𝜕f/𝜕𝑛5=1*1=1

现在我们继续走到节点n4，𝜕f/𝜕𝑛4=𝜕f/𝜕𝑛5∗𝜕𝑛5/𝜕𝑛4,因为n5=n4*n2，我们求得�𝑛5/𝜕𝑛4=n2，𝜕f/𝜕𝑛4=1*4

沿着图一路向下，我们可以计算出所有节点，就能计算出 𝜕𝑓/𝜕x= 24，𝜕𝑓/𝜕y= 10

那我们就可以利用和上面类似的方式方法去计算𝜕𝑓/𝜕𝑤

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

浅谈django orm 优化
这篇文章主要介绍了浅谈django orm 优化，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-08-08
Python 获取指定开头指定结尾所夹中间内容(推荐)
获取文章中指定开头、指定结尾中所夹的内容。其中，开头和结尾均有多种，但最多也就十几种，所以代码还是具有可行性的，今天小编给大家介绍通过Python 获取指定开头指定结尾所夹中间内容，感兴趣的朋友一起看看吧
2023-02-02
解决numpy和torch数据类型转化的问题
这篇文章主要介绍了解决numpy和torch数据类型转化的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2021-05-05
利用Python开发微信支付的注意事项
如今支付的引入是很多互联网产品都需要的。为了让用户用着更方便快捷，集成像支付宝、微信支付这样的第三方支付也就成了常有的事。今天跟着小编就来看看微信支付开发中几个值得注意的地方，涉及代码之处均用 Python 编写。
2016-08-08
python中opencv K均值聚类的实现示例
本文主要介绍了python中opencv K均值聚类的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-06-06
python实现从ftp服务器下载文件
这篇文章主要为大家详细介绍了python实现从ftp服务器下载文件，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2020-03-03
基于python分布式爬虫并解决假死的问题
这篇文章主要介绍了基于python分布式爬虫并解决假死的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2021-04-04
python-try-except:pass的用法及说明
这篇文章主要介绍了python-try-except:pass的用法及说明，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-12-12
Python逐行读取文件内容的方法总结
在本篇文章里小编给大家整理的是关于Python四种逐行读取文件内容的方法，有兴趣的朋友们可以学习下。
2020-02-02
python数据预处理之将类别数据转换为数值的方法
下面小编就为大家带来一篇python数据预处理之将类别数据转换为数值的方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-07-07