Tensorflow中的dropout的使用方法

更新时间：2020年03月13日 08:39:44 作者：AGUILLER

这篇文章主要介绍了Tensorflow中的dropout的使用方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

Hinton在论文《Improving neural networks by preventing co-adaptation of feature detectors》中提出了Dropout。Dropout用来防止神经网络的过拟合。Tensorflow中可以通过如下3中方式实现dropout。

tf.nn.dropout

def dropout(x, keep_prob, noise_shape=None, seed=None, name=None):

其中，x为浮点类型的tensor，keep_prob为浮点类型的scalar，范围在(0,1]之间，表示x中的元素被保留下来的概率，noise_shape为一维的tensor（int32类型），表示标记张量的形状（representing the shape for randomly generated keep/drop flags），并且noise_shape指定的形状必须对x的形状是可广播的。如果x的形状是[k, l, m, n]，并且noise_shape为[k, l, m, n]，那么x中的每一个元素是否保留都是独立，但如果x的形状是[k, l, m, n]，并且noise_shape为[k, 1, 1, n]，则x中的元素沿着第0个维度第3个维度以相互独立的概率保留或者丢弃，而元素沿着第1个维度和第2个维度要么同时保留，要么同时丢弃。

关于Tensorflow中的广播机制，可以参考《TensorFlow 和 NumPy 的 Broadcasting 机制探秘》

最终，会输出一个与x形状相同的张量ret，如果x中的元素被丢弃，则在ret中的对应位置元素为0，如果x中的元素被保留，则在ret中对应位置上的值为，这么做是为了使得ret中的元素之和等于x中的元素之和。

tf.layers.dropout

def dropout(inputs,
   rate=0.5,
   noise_shape=None,
   seed=None,
   training=False,
   name=None):

参数inputs为输入的张量，与tf.nn.dropout的参数keep_prob不同，rate指定元素被丢弃的概率，如果rate=0.1，则inputs中10%的元素将被丢弃，noise_shape与tf.nn.dropout的noise_shape一致，training参数用来指示当前阶段是出于训练阶段还是测试阶段，如果training为true（即训练阶段），则会进行dropout，否则不进行dropout，直接返回inputs。

自定义稀疏张量的dropout

上述的两种方法都是针对dense tensor的dropout，但有的时候，输入可能是稀疏张量，仿照tf.nn.dropout和tf.layers.dropout的内部实现原理，自定义稀疏张量的dropout。

def sparse_dropout(x, keep_prob, noise_shape):
 keep_tensor = keep_prob + tf.random_uniform(noise_shape)
 drop_mask = tf.cast(tf.floor(keep_tensor), dtype=tf.bool)
 out = tf.sparse_retain(x, drop_mask)
 return out * (1.0/keep_prob)

其中，参数x和keep_prob与tf.nn.dropout一致，noise_shape为x中非空元素的个数，如果x中有4个非空值，则noise_shape为[4]，keep_tensor的元素为[keep_prob, 1.0 + keep_prob)的均匀分布，通过tf.floor向下取整得到标记张量drop_mask，tf.sparse_retain用于在一个 SparseTensor 中保留指定的非空值。

案例

def nn_dropout(x, keep_prob, noise_shape):
 out = tf.nn.dropout(x, keep_prob, noise_shape)
 return out


def layers_dropout(x, keep_prob, noise_shape, training=False):
 out = tf.layers.dropout(x, keep_prob, noise_shape, training=training)
 return out


def sparse_dropout(x, keep_prob, noise_shape):
 keep_tensor = keep_prob + tf.random_uniform(noise_shape)
 drop_mask = tf.cast(tf.floor(keep_tensor), dtype=tf.bool)
 out = tf.sparse_retain(x, drop_mask)
 return out * (1.0/keep_prob)


if __name__ == '__main__':
 inputs1 = tf.SparseTensor(indices=[[0, 0], [0, 2], [1, 1], [1, 2]], values=[1.0, 2.0, 3.0, 4.0], dense_shape=[2, 3])
 inputs2 = tf.sparse_tensor_to_dense(inputs1)
 nn_d_out = nn_dropout(inputs2, 0.5, [2, 3])
 layers_d_out = layers_dropout(inputs2, 0.5, [2, 3], training=True)
 sparse_d_out = sparse_dropout(inputs1, 0.5, [4])
 with tf.Session() as sess:
  sess.run(tf.global_variables_initializer())
  (in1, in2) = sess.run([inputs1, inputs2])
  print(in1)
  print(in2)
  (out1, out2, out3) = sess.run([nn_d_out, layers_d_out, sparse_d_out])
  print(out1)
  print(out2)
  print(out3)

tensorflow中，稀疏张量为SparseTensor，稀疏张量的值为SparseTensorValue。3种dropout的输出如下，

SparseTensorValue(indices=array([[0, 0],
  [0, 2],
  [1, 1],
  [1, 2]], dtype=int64), values=array([ 1., 2., 3., 4.], dtype=float32), dense_shape=array([2, 3], dtype=int64))
[[ 1. 0. 2.]
 [ 0. 3. 4.]]
 
[[ 2. 0. 0.]
 [ 0. 0. 0.]]
[[ 0. 0. 4.]
 [ 0. 0. 0.]]
SparseTensorValue(indices=array([], shape=(0, 2), dtype=int64), values=array([], dtype=float32), dense_shape=array([2, 3], dtype=int64))

到此这篇关于Tensorflow中的dropout的使用方法的文章就介绍到这了,更多相关Tensorflow dropout内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Python通过Pillow实现图片对比
这篇文章主要介绍了Python Pillow实现图片对比,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-04-04
解决Python计算矩阵乘向量,矩阵乘实数的一些小错误
今天小编就为大家分享一篇解决Python计算矩阵乘向量,矩阵乘实数的一些小错误，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-08-08
python中Switch/Case实现的示例代码
本篇文章主要介绍了python中Switch/Case实现的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-11-11
python实现文本文件合并
本文给大家汇总介绍了3种合并文本文件的方法，程序的实现思路都非常不错，这里推荐给大家，有需要的小伙伴可以参考下。
2015-12-12
ITK 实现多张图像转成单个nii.gz或mha文件案例
这篇文章主要介绍了ITK 实现多张图像转成单个nii.gz或mha文件案例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-07-07
一文带你吃透Python中的os和sys模块
os 模块是 Python中的一个内置模块，也是 Python中整理文件和目录最为常用的模块。sys 模块主要负责与 Python 解释器进行交互，该模块提供了一系列用于控制 Python 运行时环境的不同部分（函数和变量等）。本文主要来聊聊这两个模块的使用，希望对大家有所帮助
2023-02-02
Flask框架学习笔记之路由和反向路由详解【图文与实例】
这篇文章主要介绍了Flask框架学习笔记之路由和反向路由,结合图文与实例形式详细分析了flask框架中路由与反向路由相关概念、原理、用法与相关操作注意事项,需要的朋友可以参考下
2019-08-08
Python面向对象程序设计之私有属性及私有方法示例
这篇文章主要介绍了Python面向对象程序设计之私有属性及私有方法,结合实例形式分析了Python私有属性及私有方法的相关使用方法及操作注意事项,需要的朋友可以参考下
2019-04-04
Django为窗体加上防机器人的验证码功能过程解析
这篇文章主要介绍了Django为窗体加上防机器人的验证码功能过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-08-08
Python中print()函数使用实例详解
Python的print()函数可以打印输出，常用来将内容打印到控制台，print()是python中最常见的一个函数，本文就通过一些实例来给大家讲讲如何使用print()函数,需要的朋友可以参考下
2023-07-07