脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → PyTorch Optimizer训练工具

PyTorch的Optimizer训练工具的实现

 更新时间：2019年08月18日 08:48:14   作者：Steven·简谈  
这篇文章主要介绍了PyTorch的Optimizer训练工具的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

torch.optim 是一个实现了各种优化算法的库。大部分常用的方法得到支持，并且接口具备足够的通用性，使得未来能够集成更加复杂的方法。

使用 torch.optim，必须构造一个 optimizer 对象。这个对象能保存当前的参数状态并且基于计算梯度更新参数。

例如：

optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum=0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)

构造方法

Optimizer 的 __init__ 函数接收两个参数：第一个是需要被优化的参数，其形式必须是 Tensor 或者 dict；第二个是优化选项，包括学习率、衰减率等。

被优化的参数一般是 model.parameters()，当有特殊需求时可以手动写一个 dict 来作为输入。

例如：

optim.SGD([
  {'params': model.base.parameters()},
  {'params': model.classifier.parameters(), 'lr': 1e-3}
], lr=1e-2, momentum=0.9)

这样 model.base 或者说大部分的参数使用 1e-2 的学习率，而 model.classifier 的参数使用 1e-3 的学习率，并且 0.9 的 momentum 被用于所有的参数。

梯度控制

在进行反向传播之前，必须要用 zero_grad() 清空梯度。具体的方法是遍历 self.param_groups 中全部参数，根据 grad 属性做清除。

例如：

for input, target in dataset:
  def closure():
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    return loss
  optimizer.step(closure)

调整学习率

lr_scheduler 用于在训练过程中根据轮次灵活调控学习率。调整学习率的方法有很多种，但是其使用方法是大致相同的：用一个 Schedule 把原始 Optimizer 装饰上，然后再输入一些相关参数，然后用这个 Schedule 做 step()。

比如以 LambdaLR 举例：

lambda1 = lambda epoch: epoch // 30
lambda2 = lambda epoch: 0.95 ** epoch
scheduler = LambdaLR(optimizer, lr_lambda=[lambda1, lambda2])
for epoch in range(100):
 train(...)
 validate(...)
 scheduler.step()

上面用了两种优化器

优化方法

optim 库中实现的算法包括 Adadelta、Adagrad、Adam、基于离散张量的 Adam、基于 ∞ \infty∞ 范式的 Adam（Adamax）、Averaged SGD、L-BFGS、RMSProp、resilient BP、基于 Nesterov 的 SGD 算法。

以 SGD 举例：

optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
optimizer.zero_grad()
loss_fn(model(input), target).backward()
optimizer.step()

其它方法的使用也一样：

opt_Adam = torch.optim.Adam(net_Adam.parameters(), lr=0.1, betas=(0.9, 0.99)
opt_RMSprop = torch.optim.RMSprop(net_RMSprop.parameters(), lr=0.1, alpha=0.9)
...
...

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • 通过python 执行 nohup 不生效的解决

    通过python 执行 nohup 不生效的解决

    这篇文章主要介绍了通过python 执行 nohup 不生效的解决，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04
  • python+tkinter实现一个简单的秒钟

    python+tkinter实现一个简单的秒钟

    这篇文章主要为大家详细介绍了Python如何利用tkinter实现一个简单的秒钟,文中的示例代码讲解详细,具有一定的参考价值,感兴趣的小伙伴可以自己动手尝试一下
    2024-02-02
  • 手把手教你安装Windows版本的Tensorflow

    手把手教你安装Windows版本的Tensorflow

    这篇文章主要介绍了手把手教你安装Windows版本的Tensorflow，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-03-03
  • 关于windos10环境下编译python3版pjsua库的问题

    关于windos10环境下编译python3版pjsua库的问题

    pjsua默认绑定的python版本是python 2.4，使用起来有诸多限制，希望可以使用python3调用pjsua的库实现软电话的基础功能。这篇文章主要介绍了windos10环境下编译python3版pjsua库,需要的朋友可以参考下
    2021-10-10
  • python 实现分组求和与分组累加求和代码

    python 实现分组求和与分组累加求和代码

    这篇文章主要介绍了python 实现分组求和与分组累加求和代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-05-05
  • Python中的对象，方法，类，实例，函数用法分析

    Python中的对象，方法，类，实例，函数用法分析

    这篇文章主要介绍了Python中的对象,方法,类,实例,函数用法,从面向对象的角度分析了对象,方法,类,实例,函数等的使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-01-01
  • Python进程Multiprocessing模块原理解析

    Python进程Multiprocessing模块原理解析

    这篇文章主要介绍了Python进程Multiprocessing模块原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-02-02
  • 详解Python中数据处理的方法总结及实现

    详解Python中数据处理的方法总结及实现

    数据增强作为前处理的关键步骤，在整个计算机视觉中有着具足轻重的地位。本文为大家总结了Python中数据处理的方法及实现，需要的可以参考一下
    2022-09-09
  • 计算Python Numpy向量之间的欧氏距离实例

    计算Python Numpy向量之间的欧氏距离实例

    这篇文章主要介绍了计算Python Numpy向量之间的欧氏距离实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-05-05
  • flask SQLAlchemy连接数据库及操作的实现

    flask SQLAlchemy连接数据库及操作的实现

    本文主要介绍了flask SQLAlchemy连接数据库及操作的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03

最新评论