PyTorch dropout设置训练和测试模式的实现
更新时间：2021年05月27日 11:31:24 作者：运动码农
这篇文章主要介绍了PyTorch dropout设置训练和测试模式的实现方式，具有很好的参考价值，希望对大家有所帮助。
看代码吧~
class Net(nn.Module): … model = Net() … model.train() # 把module设成训练模式，对Dropout和BatchNorm有影响 model.eval() # 把module设置为预测模式，对Dropout和BatchNorm模块有影响
补充：Pytorch遇到的坑——训练模式和测试模式切换
由于训练的时候Dropout和BN层起作用，每个batch BN层的参数不一样，dropout在训练时随机失效点具有随机性，所以训练和测试要区分开来。
使用时切记要根据实际情况切换：
model.train() model.eval()
补充：Pytorch在测试与训练过程中的验证结果不一致问题
引言
今天在使用Pytorch导入此前保存的模型进行测试，在过程中发现输出的结果与验证结果差距甚大，经过排查后发现是forward与eval()顺序问题。
现象
此前的错误代码是
input_cpu = torch.ones((1, 2, 160, 160))
target_cpu =torch.ones((1, 2, 160, 160))
target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
model.set_input_2(input_gpu, target_gpu)
model.eval()
model.forward()
应该改为
input_cpu = torch.ones((1, 2, 160, 160))
target_cpu =torch.ones((1, 2, 160, 160))
target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
model.set_input_2(input_gpu, target_gpu)
# 先forward再eval
model.forward()
model.eval()
当时有个疑虑，为什么要在forward后面再加eval()，查了下相关资料，主要是在BN层以及Dropout的问题。当使用eval()时，模型会自动固定BN层以及Dropout，选取训练好的值，否则则会取平均，可能导致生成的图片颜色失真。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家详细介绍了Python如何通过,脚本实现调用手机摄像头,这样就能随时随地用电脑偷偷看看男朋友都在干啥了,感兴趣的小伙伴可以了解下2025-03-03
这篇文章主要介绍了在Flask使用TensorFlow的几个常见错误及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-01-01
PyCharm环境都已经配置成了UTF-8编码,控制台打印中文也不会出现乱码,但报错堆栈信息中如果有中文会出现中文乱码,遇到这样的问题如何解决呢,下面小编给大家带来了PyCharm控制台堆栈乱码问题解决方案,感兴趣的朋友一起看看吧2023-12-12
在本篇文章里小编给大家整理了关于python爬取招聘要求等信息实例内容，有兴趣的朋友们可以学习下。2020-11-11
python计算程序开始到程序结束的运行时间和程序运行的CPU时间
这篇文章主要介绍了python计算程序开始到程序结束的运行时间和程序运行的CPU时间的三个方法，大家参考使用2013-11-11
在本篇文章中我们给大家分享了python中协程实现TCP连接的代码示例内容，有需要的朋友们可以跟着学习下。2018-10-10
Python中defaultdict与lambda表达式用法实例小结
这篇文章主要介绍了Python中defaultdict与lambda表达式用法,结合实例形式分析了Python中defaultdict与lambda表达式的功能、使用方法及相关注意事项,需要的朋友可以参考下2018-04-04
python的random模块及加权随机算法的python实现方法
下面小编就为大家带来一篇python的random模块及加权随机算法的python实现方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-01-01
对python操作kafka写入json数据的简单demo分享
今天小编就为大家分享一篇对python操作kafka写入json数据的简单demo，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
今天小编就为大家分享一篇关于使用Django连接Mysql数据库步骤，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-01-01
最新评论