浅谈pytorch中的dropout的概率p
更新时间：2021年05月27日 10:57:52 作者：小可爱123
这篇文章主要介绍了浅谈pytorch中的dropout的概率p，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
最近需要训练一个模型，在优化模型时用了dropout函数，为了减少过拟合。
训练的时候用dropout，测试的时候不用dropout。刚开始以为p是保留神经元的比率，训练设置0.5，测试设置1，loss根本没减小过，全设置成1也是一样的效果，后来就考虑到是不是p设置错了。
上网一搜，果然是的！！！p的含义理解错了！不是保留的，而是不保留的！
具体的代码为：
x2 = F.dropout(x1, p)
x1是上一层网络的输出，p是需要删除的神经元的比例。
当p=0时，保留全部神经元更新。当p=1时，神经元输出的值都为0。
补充：Pytorch--Dropout笔记
dropout常常用于抑制过拟合，pytorch也提供了很方便的函数。但是经常不知道dropout的参数p是什么意思。
在TensorFlow中p叫做keep_prob,就一直以为pytorch中的p应该就是保留节点数的比例，但是实验结果发现反了，实际上表示的是不保留节点数的比例。
看下面的例子：
a = torch.randn(10,1)
>>> tensor([[ 0.0684],
[-0.2395],
[ 0.0785],
[-0.3815],
[-0.6080],
[-0.1690],
[ 1.0285],
[ 1.1213],
[ 0.5261],
[ 1.1664]])
p=0.5
torch.nn.Dropout(0.5)(a)
>>> tensor([[ 0.0000],
[-0.0000],
[ 0.0000],
[-0.7631],
[-0.0000],
[-0.0000],
[ 0.0000],
[ 0.0000],
[ 1.0521],
[ 2.3328]])
p=0
torch.nn.Dropout(0)(a)
>>> tensor([[ 0.0684],
[-0.2395],
[ 0.0785],
[-0.3815],
[-0.6080],
[-0.1690],
[ 1.0285],
[ 1.1213],
[ 0.5261],
[ 1.1664]])
p=1
torch.nn.Dropout(0)(a)
>>> tensor([[0.],
[-0.],
[0.],
[-0.],
[-0.],
[-0.],
[0.],
[0.],
[0.],
[0.]])
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
很久很久以前，系windows平台下，用C语言写过一款贪食蛇游戏，cmd界面，用kbhit()函数实现非阻塞输入。系windows平台下用python依然可以调用msvcrt.khbit实现非阻塞监听。但系喺linux下面就冇呢支歌仔唱2013-09-09
这篇文章主要介绍了Django 路由层URLconf的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-12-12
今天小编就为大家分享一篇PyTorch中permute的用法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
这篇文章主要介绍了python的re模块应用实例,包括了常见的正则匹配技巧,需要的朋友可以参考下2014-09-09
这篇文章主要介绍了详解用 python-docx 创建浮动图片，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-01-01
Python 有一个叫做argparse的内置库，可以用它来创建一个命令行界面。本文将详解如何利用argparse实现创建一个命令行应用程序，需要的可以参考一下2022-06-06
Python基于lxml模块解析html获取页面内所有叶子节点xpath路径功能示例
这篇文章主要介绍了Python基于lxml模块解析html获取页面内所有叶子节点xpath路径功能,结合实例形式较为详细的分析了Python使用lxml模块进行xml节点数据解析的相关操作技巧与注意事项,需要的朋友可以参考下2018-05-05
这篇文章主要介绍了Keras实现DenseNet结构操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-07-07
这篇文章主要介绍了python列表（LIST）的相关知识，文中代码非常详细，帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-06-06
这篇文章主要介绍了Python实现的选择排序算法,简单描述了选择排序的原理,并结合实例形式分析了Python实现与应用选择排序的具体操作技巧,需要的朋友可以参考下2017-11-11
最新评论