Tensorflow 卷积的梯度反向传播过程

更新时间：2020年02月10日 08:42:06 作者：LQ6H

今天小编就为大家分享一篇Tensorflow 卷积的梯度反向传播过程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

一. valid卷积的梯度

我们分两种不同的情况讨论valid卷积的梯度：第一种情况，在已知卷积核的情况下，对未知张量求导(即对张量中每一个变量求导)；第二种情况，在已知张量的情况下，对未知卷积核求导(即对卷积核中每一个变量求导)

1.已知卷积核，对未知张量求导

我们用一个简单的例子理解valid卷积的梯度反向传播。假设有一个3x3的未知张量x，以及已知的2x2的卷积核K

Tensorflow提供函数tf.nn.conv2d_backprop_input实现了valid卷积中对未知变量的求导，以上示例对应的代码如下：

import tensorflow as tf

# 卷积核
kernel=tf.constant(
  [
    [[[3]],[[4]]],
    [[[5]],[[6]]]
  ]
  ,tf.float32
)

# 某一函数针对sigma的导数
out=tf.constant(
  [
    [
      [[-1],[1]],
      [[2],[-2]]
    ]
  ]
  ,tf.float32
)


# 针对未知变量的导数的方向计算
inputValue=tf.nn.conv2d_backprop_input((1,3,3,1),kernel,out,[1,1,1,1],'VALID')

session=tf.Session()

print(session.run(inputValue))
[[[[ -3.]
  [ -1.]
  [ 4.]]

 [[ 1.]
  [ 1.]
  [ -2.]]

 [[ 10.]
  [ 2.]
  [-12.]]]]

2.已知输入张量，对未知卷积核求导

假设已知3行3列的张量x和未知的2行2列的卷积核K

Tensorflow提供函数tf.nn.conv2d_backprop_filter实现valid卷积对未知卷积核的求导，以上示例的代码如下：

import tensorflow as tf

# 输入张量
x=tf.constant(
  [
    [
      [[1],[2],[3]],
      [[4],[5],[6]],
      [[7],[8],[9]]
    ]
  ]
  ,tf.float32
)

# 某一个函数F对sigma的导数
partial_sigma=tf.constant(
  [
    [
      [[-1],[-2]],
      [[-3],[-4]]
    ]
  ]
  ,tf.float32
)

# 某一个函数F对卷积核k的导数
partial_sigma_k=tf.nn.conv2d_backprop_filter(x,(2,2,1,1),partial_sigma,[1,1,1,1],'VALID')

session=tf.Session()

print(session.run(partial_sigma_k))
[[[[-37.]]

 [[-47.]]]


 [[[-67.]]

 [[-77.]]]]

二. same卷积的梯度

1.已知卷积核，对输入张量求导

假设有3行3列的已知张量x，2行2列的未知卷积核K

import tensorflow as tf

# 卷积核
kernel=tf.constant(
  [
    [[[3]],[[4]]],
    [[[5]],[[6]]]
  ]
  ,tf.float32
)

# 某一函数针对sigma的导数
partial_sigma=tf.constant(
  [
    [
      [[-1],[1],[3]],
      [[2],[-2],[-4]],
      [[-3],[4],[1]]
    ]
  ]
  ,tf.float32
)


# 针对未知变量的导数的方向计算
partial_x=tf.nn.conv2d_backprop_input((1,3,3,1),kernel,partial_sigma,[1,1,1,1],'SAME')

session=tf.Session()

print(session.run(inputValue))
[[[[ -3.]
  [ -1.]
  [ 4.]]

 [[ 1.]
  [ 1.]
  [ -2.]]

 [[ 10.]
  [ 2.]
  [-12.]]]]

2.已知输入张量，对未知卷积核求导

假设已知3行3列的张量x和未知的2行2列的卷积核K

import tensorflow as tf

# 卷积核
x=tf.constant(
  [
    [
      [[1],[2],[3]],
      [[4],[5],[6]],
      [[7],[8],[9]]
    ]
  ]
  ,tf.float32
)

# 某一函数针对sigma的导数
partial_sigma=tf.constant(
  [
    [
      [[-1],[-2],[1]],
      [[-3],[-4],[2]],
      [[-2],[1],[3]]
    ]
  ]
  ,tf.float32
)


# 针对未知变量的导数的方向计算
partial_sigma_k=tf.nn.conv2d_backprop_filter(x,(2,2,1,1),partial_sigma,[1,1,1,1],'SAME')

session=tf.Session()

print(session.run(partial_sigma_k))
[[[[ -1.]]

 [[-54.]]]


 [[[-43.]]

 [[-77.]]]]

以上这篇Tensorflow 卷积的梯度反向传播过程就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python多线程采集二手房源数据信息流程详解
这篇文章主要介绍了Python多线程采集二手房源数据信息流程，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习吧
2023-05-05
Python中列表的常用操作详解
这篇文章主要为大家详细介绍了python字典的常用操作方法，主要内容包含Python中列表(List)的详解操作方法,包含创建、访问、更新、删除、其它操作等,需要的朋友可以参考下
2021-09-09
Python自动打印被调用函数变量名及对应值
这篇文章主要介绍了Python自动打印被调用函数的变量名及对应的值，文章围绕主题展开详细的内容介绍，具有一定的参考价，需要的朋友可以参考一下
2022-07-07
Python Numpy 自然数填充数组的实现
今天小编就为大家分享一篇Python Numpy 自然数填充数组的实现，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-11-11
Pandas数据形状df.shape的实现
本文主要介绍了Pandas数据形状df.shape的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-07-07
七种Python代码审查工具推荐
这篇文章主要介绍了七种Python代码审查工具推荐，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下
2021-03-03
python绘制随机网络图形示例
今天小编就为大家分享一篇python绘制随机网络图形示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-11-11
如何用定值 Cookie 实现反爬详解
这篇文章主要为大家介绍了如何用定值 Cookie 实现反爬示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2023-04-04
python中time tzset()函数实例用法
在本篇文章里小编给大家整理的是一篇关于python中time tzset()函数实例用法内容，有兴趣的朋友们可以学习下。
2021-02-02
Python中getservbyport和getservbyname函数的用法大全
在Python的网络编程中，getservbyport()函数和getservbyname()函数是socket模块中的两个函数，因此在使用这两个函数时，需要导入socket模块，这篇文章主要介绍了Python中getservbyport和getservbyname函数的用法,需要的朋友可以参考下
2023-01-01