Pytorch之finetune使用详解
更新时间：2020年01月18日 15:44:42 作者：heathhose
今天小编就为大家分享一篇Pytorch之finetune使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
finetune分为全局finetune和局部finetune。首先介绍一下局部finetune步骤：
1.固定参数
for name, child in model.named_children():
for param in child.parameters():
param.requires_grad = False
后，只传入 需要反传的参数，否则会报错
filter(lambda param: param.requires_grad, model.parameters())
2.调低学习率，加快衰减
finetune是在预训练模型上进行微调，学习速率不能太大。
目前不清楚：学习速率降低的幅度可以更快一些。这样以来，在使用step的策略时，stepsize可以更小一些。
直接从原始数据训练的base_lr一般为0.01，微调要比0.01小,置为0.001
要比直接训练的小一些，直接训练的stepsize为100000，finetune的stepsize: 50000
3. 固定bn或取消dropout：
batchnorm会影响训练的效果，随着每个batch，追踪样本的均值和方差。对于固定的网络，bn应该使用全局的数值
def freeze_bn(self):
for layer in self.modules():
if isinstance(layer, nn.BatchNorm2d):
layer.eval()
训练时，model.train()会修改模式，freeze_zn()应该在这里后面
4.过滤参数
训练时，对于优化器，应该只传入需要改变的参数，否则会报错
filter(lambda p: p.requires_grad, model.parameters())
以上这篇Pytorch之finetune使用详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了如何用python爬取微博热搜数据并保存,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-02-02
Selenium是一个用于自动化浏览器操作的Python库,常用于Web应用的测试和爬虫等场景,本文给大家介绍Python中Selenium的基本使用教程,感兴趣的朋友一起看看吧2023-11-11
这篇文章主要介绍了Python 列表(List) 的三种遍历方法实例 详解的相关资料,需要的朋友可以参考下2017-04-04
这篇文章主要介绍了Python requests库用法,结合实例形式分析了Request库的功能、安装、请求创建、响应等相关操作技巧,需要的朋友可以参考下2018-08-08
Python Pandas实现DataFrame合并的图文教程
我们在使用pandas处理数据的时候,往往会需要合并两个或者多个DataFrame的操作,下面这篇文章主要给大家介绍了关于Pandas实现DataFrame合并的相关资料,需要的朋友可以参考下2022-07-07
VScode编写第一个Python程序HelloWorld步骤
VScode是微软去年推出的一款轻量级编辑器，功能上和Atom、Sublime Text、Vim类似，你可以通过配置将它打造成合适的IDE,这里简单介绍一下，需要的朋友可以参考下2018-04-04
这篇文章主要为大家详细介绍了OpenCV实现单目摄像头对图像目标测距，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-08-08
这篇文章主要介绍了Python探针完成调用库的数据提取，Python中可以通过sys.meta_path来实现import hook的功能，下文详细资料介绍，需要的小伙伴可以参考一下2022-05-05
今天小编就为大家分享一篇Python3 执行Linux Bash命令的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
这篇文章主要介绍了pycharm 复制代码出现空格的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-01-01
最新评论