pytorch 固定部分参数训练的方法
更新时间：2019年08月17日 15:23:08 作者：guotong1988
今天小编就为大家分享一篇pytorch 固定部分参数训练的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
需要自己过滤
optimizer.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3)
另外，如果是Variable，则可以初始化时指定
j = Variable(torch.randn(5,5), requires_grad=True)
但是如果是
m = nn.Linear(10,10)
是没有requires_grad传入的
m.requires_grad也没有
需要
for i in m.parameters(): i.requires_grad=False
另外一个小技巧就是在nn.Module里，可以在中间插入这个
for p in self.parameters(): p.requires_grad=False
这样前面的参数就是False，而后面的不变
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.conv1 = nn.Conv2d(1, 6, 5)
self.conv2 = nn.Conv2d(6, 16, 5)
for p in self.parameters():
p.requires_grad=False
self.fc1 = nn.Linear(16 * 5 * 5, 120)
self.fc2 = nn.Linear(120, 84)
self.fc3 = nn.Linear(84, 10)
以上这篇pytorch 固定部分参数训练的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python清除指定目录内所有文件中script的方法,涉及Python针对文件、字符串及正则匹配操作的相关技巧,需要的朋友可以参考下2015-06-06
今天小编就为大家分享一篇信号生成及DFT的python实现方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
在吴恩达老师的深度学习专项课程中，老师有提到NumPy中的广播机制，同时那一周的测验也有涉及到广播机制的题目。那么，到底什么是NumPy中的广播机制？本文就来介绍一下2021-05-05
在本篇文章里小编给大家整理的是关于Python发送邮件的实例代码讲解内容，需要的朋友们可以参考下。2019-10-10
在本篇文章里小编给大家分享了关于linux环境中没有网络怎么下载python的相关知识点内容，需要的朋友们参考下。2019-07-07
这篇文章主要为大家详细介绍了机器学习python实战之决策树的相关资料 ，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-11-11
vim自动补全插件YouCompleteMe(YCM)安装过程解析
这篇文章主要介绍了vim自动补全插件YouCompleteMe(YCM)安装过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-10-10
在Python中,你可以使用pandas库来读取Excel文件,并将一个大的Excel表格（工作表）拆分成多个单独的Excel文件,这篇文章主要介绍了Python如何将一个EXCEL表拆分多个excel表,需要的朋友可以参考下2024-06-06
这篇文章主要介绍了django连接mysql数据库及建表操作,结合实例形式详细分析了Django框架连接mysql数据库、创建与查询数据表相关操作实现技巧,需要的朋友可以参考下2019-12-12
这篇文章主要为大家介绍了Python的文件函数和函数参数，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2021-12-12
最新评论