解决Pytorch在测试与训练过程中的验证结果不一致问题
更新时间：2021年06月03日 09:46:44 作者：the步履不停shy
这篇文章主要介绍了解决Pytorch在测试与训练过程中的验证结果不一致问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
引言
今天在使用Pytorch导入此前保存的模型进行测试，在过程中发现输出的结果与验证结果差距甚大，经过排查后发现是forward与eval()顺序问题。
现象
此前的错误代码是
input_cpu = torch.ones((1, 2, 160, 160))
target_cpu =torch.ones((1, 2, 160, 160))
target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
model.set_input_2(input_gpu, target_gpu)
model.eval()
model.forward()
应该改为
input_cpu = torch.ones((1, 2, 160, 160))
target_cpu =torch.ones((1, 2, 160, 160))
target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
model.set_input_2(input_gpu, target_gpu)
# 先forward再eval
model.forward()
model.eval()
当时有个疑虑，为什么要在forward后面再加eval()，查了下相关资料，主要是在BN层以及Dropout的问题。
当使用eval()时，模型会自动固定BN层以及Dropout，选取训练好的值，否则则会取平均，可能导致生成的图片颜色失真。
PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval
使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval，eval（）时，框架会自动把BN和DropOut固定住，不会取平均，而是用训练好的值，不然的话，一旦test的batch_size过小，很容易就会被BN层导致生成图片颜色失真极大！！！！！！
eg：
Class Inpaint_Network() ...... Model = Inpaint_Nerwoek() #train: Model.train(mode=True) ..... #test: Model.eval()
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python使用pickle模块储存对象操作,结合实例形式分析了Python使用pickle模块针对文件读写与转换的相关操作技巧,需要的朋友可以参考下2018-08-08
这篇文章主要为大家介绍了Python pydotplus安装及可视化图形创建教程示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-10-10
今天有位同事和我吐槽关于公司 XX 的问题，我告诉他不要在公司电脑上说这些，因为很可能会被狙击，这位同事刚开始还不信，直到我写了这边文章，他才恍然大悟2021-10-10
python中torch.nn.identity()方法详解
今天看源码时遇到的这个恒等函数,就如同名字那样占位符,并没有实际操作,下面这篇文章主要给大家介绍了关于python中torch.nn.identity()方法的相关资料,需要的朋友可以参考下2022-03-03
这篇文章主要介绍了python中pip的使用和修改下载源的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-07-07
这篇文章主要介绍了python实现用户登陆邮件通知的方法,实例分析了Python计划任务与邮件发送的使用技巧,需要的朋友可以参考下2015-07-07
这篇文章主要介绍了Pytest如何使用skip跳过执行测试,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-08-08
关于AnacondaNavigator Jupyter Notebook更换Python内核的问题
因为新安装的Anaconda Navigator默认安装了一个Python，Jupyter Notebook默认使用的内核就是这个Python，跟我系统安装好的Python冲突了，下面小编给大家介绍AnacondaNavigator Jupyter Notebook更换Python内核的问题,需要的朋友可以参考下2022-02-02
今天给大家分享一个得到弹幕的代码，本文通过实例代码给大家介绍Python得到弹幕并保存到Excel中怎么设置，感兴趣的朋友跟随小编一起看看吧2023-01-01
这篇文章主要介绍了实例Python处理XML文件的方法,包括用Python处理XML大文件的情况,需要的朋友可以参考下2015-08-08
最新评论