pytorch中model.train()和model.eval()用法及说明
model.train()和model.eval()用法
1.1 model.train()
model.train()的作用是启用 Batch Normalization 和 Dropout。
如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()。
model.train()是保证BN层能够用到每一批数据的均值和方差。
对于Dropout，model.train()是随机取一部分网络连接来训练更新参数。
1.2 model.eval()
model.eval()的作用是不启用 Batch Normalization 和 Dropout。
如果模型中有BN层(Batch Normalization）和Dropout，在测试时添加model.eval()。
model.eval()是保证BN层能够用全部训练数据的均值和方差，即测试过程中要保证BN层的均值和方差不变。
对于Dropout，model.eval()是利用到了所有网络连接，即不进行随机舍弃神经元。
训练完train样本后，生成的模型model要用来测试样本。
在model(test)之前，需要加上model.eval()，否则的话，有输入数据，即使不训练，它也会改变权值。这是model中含有BN层和Dropout所带来的的性质。
在做one classification的时候，训练集和测试集的样本分布是不一样的，尤其需要注意这一点。
1.3 分析原因
使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval。
model.eval()时，框架会自动把BN和Dropout固定住，不会取平均，而是用训练好的值，
不然的话，一旦test的batch_size过小，很容易就会被BN层导致生成图片颜色失真极大！！！！！！
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python如何使用函数做字典的值,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
这篇文章主要介绍了python网络爬虫之协程的实现方法,协程Coroutine又称微线程，是一种用户态内的上下文切换技术,简而言之，就是通过一个线程实现代码块相互切换执行,需要的朋友可以参考下2023-08-08
这篇文章主要介绍了keras实现多种分类网络的方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
这篇文章主要介绍了Flask框架Jinjia模板常用语法,结合实例形式总结分析了Jinjia模板的变量、赋值、流程控制、函数、块、宏等基本使用方法,需要的朋友可以参考下2018-07-07
这篇文章主要为大家介绍了Python密码学概述双倍强度加密教程详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪<BR>2022-05-05
这篇文章主要介绍了简介Django框架中可使用的各类缓存,Django是人气最高的Python web开发框架,需要的朋友可以参考下2015-07-07
Python如何保护代码和数据，常见的安全漏洞及应对措施有哪些？
本文介绍了Python安全编程的重要性,并分享了常见的安全漏洞及应对措施、安全编程最佳实践、安全库的使用、安全配置等内容,同时,还对比了Python和Rust的安全特性,并推荐了一些实践项目,最后提出了学习方法和技巧,鼓励大家不断提高安全意识2026-05-05
今天小编就为大家分享一篇信号生成及DFT的python实现方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
本文主要介绍了Pandas使用query()优雅的查询实例，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-01-01
今天小编就为大家分享一篇使用python读取.text文件特定行的数据方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
最新评论