解决Pytorch中的神坑:关于model.eval的问题
更新时间：2021年05月22日 10:17:35 作者：汐梦聆海
这篇文章主要介绍了解决Pytorch中的神坑:关于model.eval的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
有时候使用Pytorch训练完模型，在测试数据上面得到的结果令人大跌眼镜。
这个时候需要检查一下定义的Model类中有没有 BN 或 Dropout 层，如果有任何一个存在
那么在测试之前需要加入一行代码：
#model是实例化的模型对象 model = model.eval()
表示将模型转变为evaluation（测试）模式，这样就可以排除BN和Dropout对测试的干扰。
因为BN和Dropout在训练和测试时是不同的：
对于BN，训练时通常采用mini-batch，所以每一批中的mean和std大致是相同的；而测试阶段往往是单个图像的输入，不存在mini-batch的概念。所以将model改为eval模式后，BN的参数固定，并采用之前训练好的全局的mean和std；
对于Dropout，训练阶段，隐含层神经元先乘概率P，再进行激活；而测试阶段，神经元先激活，每个隐含层神经元的输出再乘概率P。
如下图所示：
补充：pytorch中model.eval之后是否还需要model.train的问题
答案是：需要的
正确的写法是
for循环之后再开启train，
循环之后的评估model.eval之后就会再次回到model.train
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
今天小编就为大家分享一篇关于神经网络相关之基础概念的讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2018-12-12
MDX（Mobile Dictionary eXchange）是一种常见的词典文件格式,通常用于在移动设备和电脑之间共享辞典数据,本文深入探讨了从MDX词典数据提取、处理到最终保存为Excel文件的全过程,需要的朋友可以参考下2023-12-12
相信大多数8090后都玩过太空射击游戏，在过去游戏不多的年代太空射击自然属于经典好玩的一款了，今天我们来自己动手实现它，在编写学习中回顾过往展望未来，在本课中，我们将为玩家添加一个盾牌以及一个用于显示盾牌等级的栏2022-08-08
这篇文章主要介绍了浅谈Python_Openpyxl使用（最全总结），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-09-09
今天小编就为大家分享一篇解决python flask中config配置管理的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
今天小编就为大家分享一篇Python GUI编程 文本弹窗的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-06-06
在Python中,自动化表单填写可以通过多种库和工具实现,本文将详细介绍常用的自动化表单处理工具,并对它们进行横向比较,可根据需求选择合适的工具,感兴趣的小伙伴跟着小编一起来看看吧2025-03-03
大家好，本篇文章主要讲的是Python学习之基础语法介绍，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览2021-12-12
大家好，本篇文章主要讲的是用python实现九九乘法表实例，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下2022-01-01
这篇文章主要介绍了python中的迭代和可迭代对象代码示例，具有一定借鉴价值,需要的朋友可以参考下2017-12-12
最新评论