tensorflow 实现自定义梯度反向传播代码
更新时间：2020年02月10日 08:34:36 作者：青盏
今天小编就为大家分享一篇tensorflow 实现自定义梯度反向传播代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
以sign函数为例：
sign函数可以对数值进行二值化，但在梯度反向传播是不好处理，一般采用一个近似函数的梯度作为代替，如上图的Htanh。在[-1,1]直接梯度为1，其他为0。
#使用修饰器，建立梯度反向传播函数。其中op.input包含输入值、输出值，grad包含上层传来的梯度
@tf.RegisterGradient("QuantizeGrad")
def sign_grad(op, grad):
input = op.inputs[0]
cond = (input>=-1)&(input<=1)
zeros = tf.zeros_like(grad)
return tf.where(cond, grad, zeros)
#使用with上下文管理器覆盖原始的sign梯度函数
def binary(input):
x = input
with tf.get_default_graph().gradient_override_map({"Sign":'QuantizeGrad'}):
x = tf.sign(x)
return x
#使用
x = binary(x)
以上这篇tensorflow 实现自定义梯度反向传播代码就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python多进程和多线程，进程是分配资源的最小单位，线程是系统调度的最小单位，下文更多相关资料介绍，需要的小伙伴可以参考一下2022-04-04
大家好，本篇文章主要讲的是Python扑克牌21点游戏实例代码，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览2021-12-12
本文主要介绍了flask-socketio实现前后端实时通信的功能的示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-04-04
NTP网络时间协议其实大家平时或多或少都能接触到,包括Windows在内的操作系统中的很多Internet时间同步功能都是在NTP的基础上来做,这里我们来看一下Python使用ntplib库同步校准当地时间的方法2016-07-07
本文主要介绍了pd.read_csv读取文件路径出现的问题解决，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-06-06
这篇文章主要介绍了Python3实现二叉树的最大深度， 文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-09-09
本文主要介绍了pytorch中tensor转换为float，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2024-03-03
本文主要介绍了NumPy 数组属性的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-08-08
这篇文章主要介绍了Django配置Bootstrap, js实现过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-10-10
python 简单搭建阻塞式单进程,多进程,多线程服务的实例
下面小编就为大家带来一篇python 简单搭建阻塞式单进程,多进程,多线程服务的实例。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-11-11
最新评论