pytorch 实现模型不同层设置不同的学习率方式

更新时间：2020年01月06日 09:52:43 作者：-wxrui-

今天小编就为大家分享一篇pytorch 实现模型不同层设置不同的学习率方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

在目标检测的模型训练中，我们通常都会有一个特征提取网络backbone，例如YOLO使用的darknet SSD使用的VGG-16。

为了达到比较好的训练效果，往往会加载预训练的backbone模型参数，然后在此基础上训练检测网络，并对backbone进行微调，这时候就需要为backbone设置一个较小的lr。

class net(torch.nn.Module):
  def __init__(self):
    super(net, self).__init__()
    # backbone
    self.backbone = ...
    # detect
    self....

在设置optimizer时，只需要参数分为两个部分，并分别给定不同的学习率lr。

base_params = list(map(id, net.backbone.parameters()))
logits_params = filter(lambda p: id(p) not in base_params, net.parameters())
params = [
  {"params": logits_params, "lr": config.lr},
  {"params": net.backbone.parameters(), "lr": config.backbone_lr},
]
optimizer = torch.optim.SGD(params, momentum=config.momentum, weight_decay=config.weight_decay)

以上这篇pytorch 实现模型不同层设置不同的学习率方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python接口测试get请求过程详解
这篇文章主要介绍了python接口测试 get请求过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-02-02
Python对接PicGo实现图片自动加水印并上传操作示例
这篇文章主要为大家介绍了Python对接PicGo实现图片自动加水印并上传的操作示例，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步
2021-10-10
OpenCV 轮廓检测的实现方法
这篇文章主要介绍了OpenCV 轮廓检测的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-07-07
Django使用httpresponse返回用户头像实例代码
这篇文章主要介绍了Django使用httpresponse返回用户头像实例代码
2018-01-01
python模拟实现斗地主发牌
这篇文章主要为大家详细介绍了python代码模拟实现斗地主发牌，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2020-01-01
详解Python实现按任意键继续/退出的功能
在学Python时在总想实现一个按任意键继续/退出的程序(受.bat毒害), 奈何一直没有写，今天抽时间写出来了，下面分享给大家，有需要的可以参考借鉴。
2016-08-08
DRF框架API版本管理实现方法解析
这篇文章主要介绍了DRF框架API版本管理实现方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-08-08
利用python进行文件操作
这篇文章主要介绍了如何利用python进行文件操作，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下
2020-12-12
wxPython实现窗口用图片做背景
这篇文章主要为大家详细介绍了wxPython实现窗口用图片做背景，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-04-04
Python基于TensorFlow接口实现深度学习神经网络回归
这篇文章主要为大家详细介绍了如何基于Python语言中TensorFlow的tf.estimator接口，实现深度学习神经网络回归的具体方法，感兴趣的可以了解一下
2023-02-02