pytorch中model.train()和model.eval()用法及说明
model.train()和model.eval()用法
1.1 model.train()
model.train()的作用是启用 Batch Normalization 和 Dropout。
如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()。
model.train()是保证BN层能够用到每一批数据的均值和方差。
对于Dropout，model.train()是随机取一部分网络连接来训练更新参数。
1.2 model.eval()
model.eval()的作用是不启用 Batch Normalization 和 Dropout。
如果模型中有BN层(Batch Normalization）和Dropout，在测试时添加model.eval()。
model.eval()是保证BN层能够用全部训练数据的均值和方差，即测试过程中要保证BN层的均值和方差不变。
对于Dropout，model.eval()是利用到了所有网络连接，即不进行随机舍弃神经元。
训练完train样本后，生成的模型model要用来测试样本。
在model(test)之前，需要加上model.eval()，否则的话，有输入数据，即使不训练，它也会改变权值。这是model中含有BN层和Dropout所带来的的性质。
在做one classification的时候，训练集和测试集的样本分布是不一样的，尤其需要注意这一点。
1.3 分析原因
使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval。
model.eval()时，框架会自动把BN和Dropout固定住，不会取平均，而是用训练好的值，
不然的话，一旦test的batch_size过小，很容易就会被BN层导致生成图片颜色失真极大！！！！！！
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家详细介绍了python实现简单猜单词游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-12-12
这篇文章主要介绍了python多线程同步售票系统，文章基于python的相关资料展开详细的多线程同步售票系统介绍，感兴趣的小伙伴可以参考一下2022-05-05
PEP572的标题是「Assignment Expressions」，也就是「赋值表达式」，也叫做「命名表达式」，不过它现在被广泛的别名是「海象运算符」(The Walrus Operator)2019-10-10
这篇文章主要介绍了Python 实现遥感影像波段组合的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-08-08
今天小编就为大家分享一篇在Python中输入一个以空格为间隔的数组方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-11-11
通过Python实现文件批量重命名,可以在数据整理、文件归档、项目管理等方面大大提高效率,这篇文章主要给大家介绍了关于Python实现文件批量改名功能的相关资料,需要的朋友可以参考下2025-05-05
Python 库 PySimpleGUI 制作自动化办公小软件的方法
Python 在运维和办公自动化中扮演着重要的角色，PySimpleGUI 是一款很棒的自动化辅助模块，让你更轻松的实现日常任务的自动化，下面通过本文给大家介绍下Python 库 PySimpleGUI 制作自动化办公小软件的过程，一起看看吧2021-12-12
这篇文章主要介绍了Python空间数据处理之GDAL读写遥感图像，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-08-08![Python报错:PermissionError: [Errno 13] Permission denied的解决办法](//img.jbzj.com/images/xgimg/bcimg8.png)
Python报错:PermissionError: [Errno 13] Permission denied的解
这篇文章主要给大家介绍了关于Python报错:PermissionError: [Errno 13] Permission denied的解决办法,文中给出了详细的解决办法,需要的朋友可以参考下2022-02-02
这篇文章主要介绍了Python私有属性私有方法应用场景解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-09-09
![Python报错:PermissionError: [Errno 13] Permission denied的解决办法](http://img.jbzj.com/images/xgimg/bcimg8.png)
最新评论