Pytorch之finetune使用详解
更新时间：2020年01月18日 15:44:42 作者：heathhose
今天小编就为大家分享一篇Pytorch之finetune使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
finetune分为全局finetune和局部finetune。首先介绍一下局部finetune步骤：
1.固定参数
for name, child in model.named_children():
for param in child.parameters():
param.requires_grad = False
后，只传入 需要反传的参数，否则会报错
filter(lambda param: param.requires_grad, model.parameters())
2.调低学习率，加快衰减
finetune是在预训练模型上进行微调，学习速率不能太大。
目前不清楚：学习速率降低的幅度可以更快一些。这样以来，在使用step的策略时，stepsize可以更小一些。
直接从原始数据训练的base_lr一般为0.01，微调要比0.01小,置为0.001
要比直接训练的小一些，直接训练的stepsize为100000，finetune的stepsize: 50000
3. 固定bn或取消dropout：
batchnorm会影响训练的效果，随着每个batch，追踪样本的均值和方差。对于固定的网络，bn应该使用全局的数值
def freeze_bn(self):
for layer in self.modules():
if isinstance(layer, nn.BatchNorm2d):
layer.eval()
训练时，model.train()会修改模式，freeze_zn()应该在这里后面
4.过滤参数
训练时，对于优化器，应该只传入需要改变的参数，否则会报错
filter(lambda p: p.requires_grad, model.parameters())
以上这篇Pytorch之finetune使用详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
在聊天工具大肆侵入我们生活各个方面的今天,各种消息无时无刻不在侵扰我们的每一寸时间,这种情况下,一个聊天的机器人就很有必要了.今天,我们来学习一下使用 Python 开发一个钉钉的应答机器人,助你「人生苦短，少回消息」,需要的朋友可以参考下2021-06-06
这篇文章主要介绍了Python实现一个优先级队列的方法，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-07-07
matplotlib要组装一张图表，需要的各个基础组件对象。相对工作量较大，但在pandas中我们有行标签和列标签以及分组信息。原本制作一张图表需要一大堆matplotlib代码。在pandas中只需要一两条代码就可以了，今天记录一下，pandas中常见的几个绘制图表的方法2022-12-12
这篇文章主要介绍了python迭代器的使用方法,代码很简单，大家可以参考使用2013-11-11
使用Django xadmin 实现修改时间选择器为不可输入状态
这篇文章主要介绍了使用Django xadmin 实现修改时间选择器为不可输入状态，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
今天小编就为大家分享一篇python实现嵌套列表平铺的两种方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-11-11
虽然python在调用cmd命令方面使用的比较少,不过还是要用的,下面这篇文章主要给大家介绍了关于python运行cmd命令行的3种方法,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-09-09
这篇文章主要介绍了python框架django项目部署相关知识详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
python+django+mysql开发实战(附demo)
本文主要介绍了python+django+mysql开发实战(附demo)，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-01-01
这篇文章主要介绍了解决keras使用cov1D函数的输入问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
最新评论