python深度学习标准库使用argparse调参

 更新时间:2022年06月02日 09:35:50   作者:MapleTx's  
这篇文章主要为大家介绍了python深度学习标准库使用argparse调参实例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

前言

argparse是深度学习项目调参时常用的python标准库,使用argparse后,我们在命令行输入的参数就可以以这种形式python filename.py --lr 1e-4 --batch_size 32来完成对常见超参数的设置。,一般使用时可以归纳为以下三个步骤

使用步骤:

  • 创建ArgumentParser()对象
  • 调用add_argument()方法添加参数
  • 使用parse_args()解析参数 在接下来的内容中,我们将以实际操作来学习argparse的使用方法
import argparse
parser = argparse.ArgumentParser() # 创建一个解析对象
parser.add_argument() # 向该对象中添加你要关注的命令行参数和选项
args = parser.parse_args() # 调用parse_args()方法进行解析

常见规则

  • 在命令行中输入python demo.py -h或者python demo.py --help可以查看该python文件参数说明
  • arg字典类似python字典,比如arg字典Namespace(integers='5')可使用arg.参数名来提取这个参数
  • parser.add_argument('integers', type=str, nargs='+',help='传入的数字') nargs是用来说明传入的参数个数,'+' 表示传入至少一个参数,'*' 表示参数可设置零个或多个,'?' 表示参数可设置零个或一个
  • parser.add_argument('-n', '--name', type=str, required=True, default='', help='名') required=True表示必须参数, -n表示可以使用短选项使用该参数
  • parser.add_argument("--test_action", default='False', action='store_true')store_true 触发时为真,不触发则为假(test.py,输出为 False ,test.py --test_action,输出为 True)

使用config文件传入超参数

为了使代码更加简洁和模块化,可以将有关超参数的操作写在config.py,然后在train.py或者其他文件导入就可以。具体的config.py可以参考如下内容。

import argparse  
def get_options(parser=argparse.ArgumentParser()):  
    parser.add_argument('--workers', type=int, default=0,  
                        help='number of data loading workers, you had better put it '  
                              '4 times of your gpu')  
    parser.add_argument('--batch_size', type=int, default=4, help='input batch size, default=64')  
    parser.add_argument('--niter', type=int, default=10, help='number of epochs to train for, default=10')  
    parser.add_argument('--lr', type=float, default=3e-5, help='select the learning rate, default=1e-3')  
    parser.add_argument('--seed', type=int, default=118, help="random seed")  
    parser.add_argument('--cuda', action='store_true', default=True, help='enables cuda')  
    parser.add_argument('--checkpoint_path',type=str,default='',  
                        help='Path to load a previous trained model if not empty (default empty)')  
    parser.add_argument('--output',action='store_true',default=True,help="shows output")  
    opt = parser.parse_args()  
    if opt.output:  
        print(f'num_workers: {opt.workers}')  
        print(f'batch_size: {opt.batch_size}')  
        print(f'epochs (niters) : {opt.niter}')  
        print(f'learning rate : {opt.lr}')  
        print(f'manual_seed: {opt.seed}')  
        print(f'cuda enable: {opt.cuda}')  
        print(f'checkpoint_path: {opt.checkpoint_path}')  
    return opt  
if __name__ == '__main__':  
    opt = get_options()
$ python config.py
num_workers: 0
batch_size: 4
epochs (niters) : 10
learning rate : 3e-05
manual_seed: 118
cuda enable: True
checkpoint_path:

随后在train.py等其他文件,我们就可以使用下面的这样的结构来调用参数。

# 导入必要库
...
import config
opt = config.get_options()
manual_seed = opt.seed
num_workers = opt.workers
batch_size = opt.batch_size
lr = opt.lr
niters = opt.niters
checkpoint_path = opt.checkpoint_path
# 随机数的设置,保证复现结果
def set_seed(seed):
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    random.seed(seed)
    np.random.seed(seed)
    torch.backends.cudnn.benchmark = False
    torch.backends.cudnn.deterministic = True
...
if __name__ == '__main__':
  set_seed(manual_seed)
  for epoch in range(niters):
    train(model,lr,batch_size,num_workers,checkpoint_path)
    val(model,lr,batch_size,num_workers,checkpoint_path)

argparse中action的可选参数store_true

# test.py
import argparse
if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument("--test_action", action='store_true')
    args = parser.parse_args()
    action_val = args.test_action
    print(action_val)

以上面的代码为例,若触发 test_action,则为 True, 否则为 False:

  • $ python test.py,输出为 False
  • $ python test.py --test_action,输出为 True

若在上面的代码中加入default,设为 False 时:

parser.add_argument("--test_action", default='False', action='store_true')
  • $ python test.py,输出为 False
  • $ python test.py --test_action,输出为 True

default 设为 True 时:

parser.add_argument("--test_action", default='True', action='store_true')
  • $ python test.py,输出为 True
  • $ python test.py --test_action,输出为 True

参考:https://www.jb51.net/article/250215.htm

以上就是python深度学习标准库使用argparse调参的详细内容,更多关于python标准库argparse调参的资料请关注脚本之家其它相关文章!

相关文章

  • python opencv 批量改变图片的尺寸大小的方法

    python opencv 批量改变图片的尺寸大小的方法

    这篇文章主要介绍了python opencv 批量改变图片的尺寸大小的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-06-06
  • python中selenium库的基本使用详解

    python中selenium库的基本使用详解

    这篇文章主要介绍了python中selenium库的基本使用详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-07-07
  • Python opencv进行圆形识别(圆检测)实例代码

    Python opencv进行圆形识别(圆检测)实例代码

    最近工作的项目上需要检测图像中是否有圆形,下面这篇文章主要给大家介绍了关于Python opencv进行圆形识别(圆检测)的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2023-05-05
  • Python 压缩打包文件/文件夹的方法

    Python 压缩打包文件/文件夹的方法

    本文主要介绍了Python 压缩打包文件/文件夹的方法,分两种类型处理,打包文件是需要传入文件的路径,打包文件夹是传入文件夹的路径,感兴趣的可以了解一下
    2023-12-12
  • Python递归函数实例讲解

    Python递归函数实例讲解

    在本文中我们通过实例给大家讲解了关于Python递归函数的用法以及相关知识点,需要的朋友们学习下。
    2019-02-02
  • python中的decorator的作用详解

    python中的decorator的作用详解

    这篇文章主要介绍了python中的decorator的作用详解,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-07-07
  • 深入探究Flask的两个高级特性之蓝图和JWT认证

    深入探究Flask的两个高级特性之蓝图和JWT认证

    本文将探讨 Flask 的两个高级特性:蓝图(Blueprints)和 JSON Web Token(JWT)认证,蓝图让我们可以将应用模块化,以便更好地组织代码;而 JWT 认证是现代 Web 应用中常见的一种安全机制,感兴趣的小伙伴跟着小编一起来看看吧
    2023-08-08
  • python 产生token及token验证的方法

    python 产生token及token验证的方法

    今天小编就为大家分享一篇python 产生token及token验证的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • Keras 实现加载预训练模型并冻结网络的层

    Keras 实现加载预训练模型并冻结网络的层

    这篇文章主要介绍了Keras 实现加载预训练模型并冻结网络的层,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • Python实现快速保存微信公众号文章中的图片

    Python实现快速保存微信公众号文章中的图片

    这篇文章主要为大家详细介绍了如何利用Python语言实现快速保存微信公众号文章中的图片,文中的示例代码讲解详细,感兴趣的可以尝试一下
    2022-06-06

最新评论