TensorFlow梯度求解tf.gradients实例
更新时间:2020年02月04日 11:17:35 作者:yqtaowhu
今天小编就为大家分享一篇TensorFlow梯度求解tf.gradients实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
我就废话不多说了,直接上代码吧!
import tensorflow as tf w1 = tf.Variable([[1,2]]) w2 = tf.Variable([[3,4]]) res = tf.matmul(w1, [[2],[1]]) grads = tf.gradients(res,[w1]) with tf.Session() as sess: tf.global_variables_initializer().run() print sess.run(res) print sess.run(grads)
输出结果为:
[[4]] [array([[2, 1]], dtype=int32)]
可以这样看res与w1有关,w1的参数设为[a1,a2],则:
2*a1 + a2 = res
所以res对a1,a2求导可得 [[2,1]]为w1对应的梯度信息。
import tensorflow as tf def gradient_clip(gradients, max_gradient_norm): """Clipping gradients of a model.""" clipped_gradients, gradient_norm = tf.clip_by_global_norm( gradients, max_gradient_norm) gradient_norm_summary = [tf.summary.scalar("grad_norm", gradient_norm)] gradient_norm_summary.append( tf.summary.scalar("clipped_gradient", tf.global_norm(clipped_gradients))) return clipped_gradients w1 = tf.Variable([[3.0,2.0]]) # w2 = tf.Variable([[3,4]]) params = tf.trainable_variables() res = tf.matmul(w1, [[3.0],[1.]]) opt = tf.train.GradientDescentOptimizer(1.0) grads = tf.gradients(res,[w1]) clipped_gradients = gradient_clip(grads,2.0) global_step = tf.Variable(0, name='global_step', trainable=False) #update = opt.apply_gradients(zip(clipped_gradients,params), global_step=global_step) with tf.Session() as sess: tf.global_variables_initializer().run() print sess.run(res) print sess.run(grads) print sess.run(clipped_gradients)
以上这篇TensorFlow梯度求解tf.gradients实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
相关文章
详解pandas中MultiIndex和对象实际索引不一致问题
这篇文章主要介绍了详解pandas中MultiIndex和对象实际索引不一致问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2019-07-07Sublime Text4 配置 Python3 环境、代码提示、编译报错的解决方案
这篇文章主要介绍了Sublime Text4 配置 Python3 环境、代码提示、编译报错教程,通过图文并茂的形式给大家介绍了配置自动代码提示的方法,需要的朋友可以参考下2022-01-01python中requests库session对象的妙用详解
这篇文章主要介绍了python中requests库session对象的妙用详解,具有一定参考价值,需要的朋友可以了解下。2017-10-10
最新评论