python中编写config文件并及时更新的方法

 更新时间:2023年02月28日 08:56:16   作者:Rilkean heart  
在pytorch或者其他深度学习框架中,有许多超参数需要调整,包括learning_rate,training_data_path等,因此编写一个config文件统一存放这些参数,方便调用/查看/修改还是很有必要,这篇文章主要介绍了python中一种编写config文件并及时更新的方法,需要的朋友可以参考下

0. Intro

  • 在pytorch或者其他深度学习框架中,有许多超参数需要调整,包括learning_ratetraining_data_path等,因此编写一个config文件统一存放这些参数,方便调用/查看/修改还是很有必要的。下面是我使用过的一种很简单的方式,不是很优雅,小模型下初步的微调已经够用,希望也对你有所帮助,有更好更pro的方式欢迎大家留言~
  • 我这里的目录结构:
  • MLP
  • mlp.ipynb: 用于training等
  • config.py: 存放超参数、路径
  • data
  • targets:targets data path
  • train:training data path

1. config.py

这个.py文件实际上是一个class,大概如下:

class DefaultConfig(object):

    # dataset划分
    batch_size = 40
    train_pct = 0.7
    vali_pct = 0.2
    test_pct = 0.1
    
    #learning rate
    learning_rate = 1e-3
    
    # Training data
    train_path = r"../data/train"
    target_path_metric = r"../data/targets"

2. 调用以及更新

写成class之后,在mlp.ipynb中调用只需要引用一下就完事了:

import config  # import进来
reload(config)  ################## 注意这里必须reload!!
from config import DefaultConfig	# 引入class

opt = DefaultConfig()		# 实例config对象

# 这里名字最好保持和clas内部一致,方便检查
batch_size = opt.batch_size
train_pct = opt.train_pct
vali_pct = opt.vali_pct
test_pct = opt.test_pct

注意,很可能当我们改动config.py之后,外部文件的参数不会及时更新,所以加入reload语句是一个很好的习惯

import config  # import进来
reload(config)  ################## 注意这里必须reload!!

到此这篇关于python中一种编写config文件并及时更新的方法的文章就介绍到这了,更多相关python编写config文件内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python中执行调用JS的多种实现方法总结

    Python中执行调用JS的多种实现方法总结

    这篇文章主要给大家介绍了关于Python中执行调用JS的多种实现方法,在一些特殊的python应用场景下需要逆向执行javascript代码块或者.js文件,需要的朋友可以参考下
    2023-08-08
  • python 的topk算法实例

    python 的topk算法实例

    这篇文章主要介绍了python 的topk算法实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04
  • python如何调用字典的key

    python如何调用字典的key

    在本篇文章里小编给大家分享的是关于python调用字典的key方法实例,有兴趣点朋友们可以参考学习下。
    2020-05-05
  • Python运行报错UnicodeDecodeError的解决方法

    Python运行报错UnicodeDecodeError的解决方法

    本文给大家分享的是在Python项目中经常遇到的关于编码问题的一个小bug的解决方法以及分析方法,有相同遭遇的小伙伴可以来参考下
    2016-06-06
  • Python Selenium 设置元素等待的三种方式

    Python Selenium 设置元素等待的三种方式

    这篇文章主要介绍了Python Selenium 设置元素等待的三种方式,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-03-03
  • Python如何在终端彩色打印输出

    Python如何在终端彩色打印输出

    大家好,本篇文章主要讲的是Python如何在终端彩色打印输出,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏一下
    2022-02-02
  • python 爬虫百度地图的信息界面的实现方法

    python 爬虫百度地图的信息界面的实现方法

    这篇文章主要介绍了python 爬虫百度地图的界面的实现方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-10-10
  • 使用BeeWare实现iOS调用Python方式

    使用BeeWare实现iOS调用Python方式

    这篇文章主要介绍了使用BeeWare实现iOS调用Python方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-12-12
  • Python二叉树定义与遍历方法实例分析

    Python二叉树定义与遍历方法实例分析

    这篇文章主要介绍了Python二叉树定义与遍历方法,结合实例形式分析了二叉树的概念、原理及Python定义、遍历二叉树相关操作技巧,需要的朋友可以参考下
    2018-05-05
  • 详解python opencv、scikit-image和PIL图像处理库比较

    详解python opencv、scikit-image和PIL图像处理库比较

    这篇文章主要介绍了详解python opencv、scikit-image和PIL图像处理库比较,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-12-12

最新评论