Pytorch 如何训练网络时调整学习率
更新时间：2021年05月31日 09:00:23 作者：HDU_number1_ADC
这篇文章主要介绍了Pytorch 如何训练网络时调整学习率的操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
为了得到更好的网络，学习率通常是要调整的，即刚开始用较大的学习率来加快网络的训练，之后为了提高精确度，需要将学习率调低一点。
如图所示，步长（学习率）太大容易跨过最优解。
代码如下：
表示每20个epoch学习率调整为之前的10%
optimizer = optim.SGD(gan.parameters(),
lr=0.1,
momentum=0.9,
weight_decay=0.0005)
lr = optimizer.param_groups[0]['lr'] * (0.1 ** (epoch // 20))
for param_group in optimizer.param_groups:
param_group['lr'] = lr
print(optimizer.param_groups[0]['lr'])
补充：Pytorch 在训练过程中实现学习率衰减
在网络的训练过程中，学习率是一个非常重要的超参数，它直接影响了网络的训练效果。
但过大的学习率将会导致网络无法达到局部最小点，使得训练结果震荡，准确率无法提升，而过小的学习率将会导致拟合速度过慢，浪费大量的时间和算力。
因此我们希望在训练之初能够有较大的学习率加快拟合的速率，之后降低学习率，使得网络能够更好的达到局部最小，提高网络的效率。
torch.optim.lr_scheduler.LambdaLR（）
torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)
其中optimizer就是包装好的优化器， lr_lambda即为操作学习率的函数。
将每个参数组的学习速率设置为初始的lr乘以一个给定的函数。
当last_epoch=-1时，将初始lr设置为lr。
torch.optim.lr_scheduler.StepLR（）
torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)
其中optimizer就是包装好的优化器，step_size (int) 为学习率衰减期，指几个epoch衰减一次。gamma为学习率衰减的乘积因子。 默认为0.1 。当last_epoch=-1时，将初始lr设置为lr。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Windows下Anaconda安装、换源与更新的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
这篇文章主要介绍了python将ip地址转换成整数的方法,涉及Python针对IP地址的转换技巧,需要的朋友可以参考下2015-03-03
这篇文章主要介绍了python 第三方库paramiko的常用方式,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-02-02
这篇文章主要介绍了python求解水仙花数的方法,较为详细的分析了水仙花数问题的概念与对应解决方法的实现技巧,需要的朋友可以参考下2015-05-05
本文主要介绍了python中xlwt模块的具体用法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-02-02
这篇文章主要介绍了Flask框架debug与配置项的开启与设置，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-09-09
这篇文章主要为大家详细介绍了tensorflow识别自己手写数字，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-03-03
这篇文章主要介绍了Python爬虫之Requests库基本使用详解,Requests 库是在 urllib 模块的基础上开发而来,继承了urllib.request的所有特性,与urllib.request 相比,Requests 在使用时更加简洁方便、快捷,所以 Requests 库在编写爬虫程序时使用较多,需要的朋友可以参考下2023-09-09
大家好，本篇文章主要讲的是Python采集电视剧《开端》弹幕做成词云图，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下2022-01-01
这篇文章主要介绍了Python 枚举的相关资料，帮助大家更好的理解和学习python，感兴趣的朋友可以了解下2020-08-08
最新评论