tensorflow中的梯度求解及梯度裁剪操作

更新时间：2021年05月26日 11:30:15 作者：orangerfun

这篇文章主要介绍了tensorflow中的梯度求解及梯度裁剪操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教

1. tensorflow中梯度求解的几种方式

1.1 tf.gradients

tf.gradients(
    ys,
    xs,
    grad_ys=None,
    name='gradients',
    colocate_gradients_with_ops=False,
    gate_gradients=False,
    aggregation_method=None,
    stop_gradients=None,
    unconnected_gradients=tf.UnconnectedGradients.NONE
)

计算ys关于xs的梯度，tf.gradients返回的结果是一个长度为len(xs)的tensor列表list，例如

tf.gradients(y, [x1, x2, x3]返回[dy/dx1, dy/dx2, dy/dx3]

当y与x无关时，即graph无x到y的路径，则求y关于x的梯度时返回[None]；参数stop_gradients指定的变量对当前梯度求解而言，梯度求解将止于这些变量。

a = tf.constant(0.)
b = 2 * a
g = tf.gradients(a + b, [a, b], stop_gradients=[a, b]) #梯度计算不再追溯a,b之前的变量

输出：

In: sess.run(g)

out:[1.0, 1.0]

如果不设置stop_gradients参数则反向传播梯度计算将追溯到最开始的值a,输出结果为：

In : sess.run(g)

Out: [3.0, 1.0]

1.2 optimizer.compute_gradients

compute_gradients(
    loss,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    grad_loss=None
)

optimizer.compute_gradients是tf.gradients的封装，作用相同，但是tfgradients只返回梯度，compute_gradients返回梯度和可导的变量；tf.compute_gradients是optimizer.minimize()的第一步，optimizer.compute_gradients返回一个[(gradient, variable),…]的元组列表，其中gradient是tensor。

直观上，optimizer.compute_gradients只比tf.gradients多了一个variable输出。

optimizer = tf.train.GradientDescentOptimizer(learning_rate = 1.0)
self.train_op = optimizer.minimize(self.cost)
sess.run([train_op], feed_dict={x:data, y:labels})

在这个过程中，调用minimize方法的时候，底层进行的工作包括：

(1) 使用tf.optimizer.compute_gradients计算trainable_variables 集合中所有参数的梯度

(2) 用optimizer.apply_gradients来更新计算得到的梯度对应的变量

上面代码等价于下面代码

optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1)
grads_and_vars = optimizer.compute_gradients(loss)
train_op = optimizer.apply_gradients(grads_and_vars)

1.3 tf.stop_gradient

tf.stop_gradient(
    input,
    name=None
)

tf.stop_gradient阻止input的变量参与梯度计算，即在梯度计算的过程中屏蔽input之前的graph。

返回：关于input的梯度

2. 梯度裁剪

如果我们希望对梯度进行截断，那么就要自己计算出梯度，然后进行clip，最后应用到变量上，代码如下所示，接下来我们一一介绍其中的主要步骤

#return a list of trainable variable in you model
params = tf.trainable_variables()

#create an optimizer
opt = tf.train.GradientDescentOptimizer(self.learning_rate)

#compute gradients for params
gradients = tf.gradients(loss, params)

#process gradients
clipped_gradients, norm = tf.clip_by_global_norm(gradients,max_gradient_norm)

train_op = opt.apply_gradients(zip(clipped_gradients, params)))

2.1 tf.clip_by_global_norm介绍

tf.clip_by_global_norm(t_list, clip_norm, use_norm=None, name=None)

t_list 表示梯度张量

clip_norm是截取的比率

在应用这个函数之后，t_list[i]的更新公示变为：

global_norm = sqrt(sum(l2norm(t)**2 for t in t_list))
t_list[i] = t_list[i] * clip_norm / max(global_norm, clip_norm)

也就是分为两步：

(1) 计算所有梯度的平方和global_norm

(2) 如果梯度平方和 global_norm 超过我们指定的clip_norm，那么就对梯度进行缩放；否则就按照原本的计算结果

梯度裁剪实例2

loss = w*x*x
optimizer = tf.train.GradientDescentOptimizer(0.1)
grads_and_vars = optimizer.compute_gradients(loss,[w,x])
grads = tf.gradients(loss,[w,x])
# 修正梯度
for i,(gradient,var) in enumerate(grads_and_vars):
    if gradient is not None:
        grads_and_vars[i] = (tf.clip_by_norm(gradient,5),var)
train_op = optimizer.apply_gradients(grads_and_vars)
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print(sess.run(grads_and_vars))
     # 梯度修正前[(9.0, 2.0), (12.0, 3.0)]；梯度修正后 ，[(5.0, 2.0), (5.0, 3.0)]
    print(sess.run(grads))  #[9.0, 12.0]，
    print(train_op)

补充：tensorflow框架中几种计算梯度的方式

1. tf.gradients

tf.gradients(
    ys,
    xs,
    grad_ys=None,
    name='gradients',
    colocate_gradients_with_ops=False,
    gate_gradients=False,
    aggregation_method=None,
    stop_gradients=None,
    unconnected_gradients=tf.UnconnectedGradients.NONE
)

计算ys关于xs的梯度，tf.gradients返回的结果是一个长度为len(xs)的Tensor列表list，每个张量为sum(dy/dx)，即ys关于xs的导数。

例子：

tf.gradients(y, [x1, x2, x3]返回[dy/dx1, dy/dx2, dy/dx3]

当y与x无关时，即graph无x到y的路径，则求y关于x的梯度时返回[None]

参数stop_gradients指定的变量对当前梯度求解而言，梯度求解将止于这些变量。

实例：

a = tf.constant(0.)
b = 2 * a
g = tf.gradients(a + b, [a, b], stop_gradients=[a, b]) #梯度计算不再追溯a,b之前的变量

输出：

In: sess.run(g)

out:[1.0, 1.0]

如果不设置stop_gradients参数则反向传播梯度计算将追溯到最开始的值a,输出结果为：

In : sess.run(g)

Out: [3.0, 1.0]

2. optimizer.compute_gradients

compute_gradients(
    loss,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    grad_loss=None
)

optimizer.compute_gradients是tf.gradients的封装1.

是optimizer.minimize()的第一步，返回(gradient, variable)的列表，其中gradient是tensor。

直观上，optimizer.compute_gradients只比tf.gradients多了一个variable输出。

3. tf.stop_gradient

tf.stop_gradient(
    input,
    name=None
)

tf.stop_gradient阻止input的变量参与梯度计算，即在梯度计算的过程中屏蔽input之前的graph。

返回：关于input的梯度

应用：

1、EM算法，其中M步骤不应涉及通过E步骤的输出的反向传播。

2、Boltzmann机器的对比散度训练，在区分能量函数时，训练不得反向传播通过模型生成样本的图形。

3、对抗性训练，通过对抗性示例生成过程不会发生反向训练。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python深度学习理解pytorch神经网络批量归一化
这篇文章主要是Python深度学习篇，通过示例的详解让大家更好的理解pytorch神经网络批量归一化，有需要的的朋友可以借鉴参考下，希望能够有所帮助
2021-10-10
几行代码让 Python 函数执行快 30 倍
Python 编程语言，与其他流行编程语言相比主要缺点是它的动态特性和多功能属性拖慢了速度表现。Python 代码是在运行时被解释的，而不是在编译时被编译为原生代码。在本文中，我们将讨论如何用多处理模块并行执行自定义 Python 函数，并进一步对比运行时间指标。
2021-10-10
使用Python脚本将Bing的每日图片作为桌面的教程
这篇文章主要介绍了使用Python脚本将Bing的每日图片作为桌面的教程,示例基于Windows操作系统环境实现,需要的朋友可以参考下
2015-05-05
创建SparkSession和sparkSQL的详细过程
SparkSession 是 Spark SQL 的入口，Builder 是 SparkSession 的构造器。通过 Builder, 可以添加各种配置，并通过 stop 函数来停止 SparkSession，本文给大家分享创建SparkSession和sparkSQL的详细过程，一起看看吧
2021-08-08
对Python中gensim库word2vec的使用详解
今天小编就为大家分享一篇对Python中gensim库word2vec的使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-05-05
Python实现的用户登录系统功能示例
这篇文章主要介绍了Python实现的用户登录系统功能,涉及Python流程控制及字符串判断等相关操作技巧,需要的朋友可以参考下
2018-02-02
python 根据列表批量下载网易云音乐的免费音乐
这篇文章主要介绍了python 根据列表下载网易云音乐的免费音乐，帮助大家更好的理解和学习python，感兴趣的朋友可以了解下
2020-12-12
Windows系统下安装tensorflow的配置步骤
这篇文章主要介绍了Windows系统下安装tensorflow,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2022-07-07
DataFrame中去除指定列为空的行方法
下面小编就为大家分享一篇DataFrame中去除指定列为空的行方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-04-04
如何在Python中隐藏和加密密码示例详解
Maskpass是一个类似getpass的Python库,但是具有一些高级功能,比如掩蔽和显示,下面这篇文章主要给大家介绍了关于如何在Python中隐藏和加密密码的相关资料,需要的朋友可以参考下
2022-02-02