Jupyter Notebook运行Python代码实现传参方式

 更新时间:2023年07月07日 11:51:22   作者:Anntonnia  
这篇文章主要介绍了Jupyter Notebook运行Python代码实现传参方式,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

Jupyter Notebook运行Python代码实现传参

在Jupyter Notebook中,运行Python源代码非常方便,但是如何模拟命令行方式运行时的输入参数呢?

如果直接使用sys.argv会出现错误。

例如,使用argv[1]时出现

运行错误截图

导致上述错误的原因为:在Jupyter Notebook中运行Python代码时,argv中有三个默认参数,分别是:

argv[0]: ‘路径\test.py' (源代码文件名)
argv[1]: ‘-f'
argv[2]: '路径\kernel-…json'

而在命令行方式下运行Python代码时,argv[0]与上述argv[0]相同,但argv[1]为命令行中紧随在test.py之后的字符串

例如,在如下命令行中

python test.py test.txt
argv[1]为 test.txt

因此,解决方案就是对 list argv 进行修改,如下面的代码所示:

#需要sys模块来使用argv
from sys import argv
#查看当前的argv列表
print(len(argv))
print(argv)
#直接修改argv
argv[1] = 'test.txt'
#也可以添加新的参数
argv.append('test.txt')

这样,在后续代码中, .py 和 .ipynb源代码一致,无需为在Jupyter Notebook中运行而进行修改。

jupyter notebook参数化运行python

Updates

(2019.8.14 19:53)吃饭前用这个方法实战了一下,吃完回来一看好像不太行:跑完一组参数之后,到跑下一组参数时好像没有释放之占用的 GPU,于是 notebook 上的结果,后面好几条都报错说 cuda out of memory。

现在改成:将 notebook 中的代码写在一个 python 文件中,然后用命令行运行这个文件,比如:

# autorun.py
import os
# print(os.getcwd())
over = [  # 之前手工改参数跑完的参数组合
    [0, 1, 1], [0, 1, 2], [0, 1, 3],
    [0, 2, 1],
    [1, 0, 1],
    [1, 2, 1]
]
for alpha in range(1, 4, 1):
    for beta in range(3):
        for gamma in range(3):
            if [alpha, beta, gamma] in over:
                continue
            os.system(f'python main.py --alpha {alpha} --beta {beta} --gamma {gamma}')

这里的 main.py 是训练用的主文件。改在 py 里用 os.system 跑,希望跑一组参数之后完会自动释放资源再跑下一组(?)

Notes

有多组参数组合需要尝试,不想每组参数都人工修改 python 代码,再在 notebook 中 %run 它。

python 参数通过的 argparse 接收,在 notebook 中写个多重循环遍历参数组合传给 python 程序自动运行。

记录一个简例。

Codes

test_dir

|- test.py

|- test.ipynb

in py file

# test.py
import argparse
parser = argparse.ArgumentParser()
parser.add_argument('--number', type=int, default=0, help='number')
parser.add_argument('--string', type=str, default='abc', help='string')
args = parser.parse_args()
print('number:', args.number, type(args.number))
print('string:', args.string, type(args.string))

in notebook

注意传参数时 $ 的使用

# test.ipynb
for i in range(3):
    for s in ('a', 'b', 'c'):
        %run test.py --number $i --string $s

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • 几款Python编译器比较与推荐(小结)

    几款Python编译器比较与推荐(小结)

    这篇文章主要介绍了几款Python编译器比较与推荐(小结),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-10-10
  • ChatGPT 帮我自动编写 Python 爬虫脚本的详细过程

    ChatGPT 帮我自动编写 Python 爬虫脚本的详细过程

    ChatGPT是一种基于大语言模型的生成式AI,换句话说它可以自动生成类似人类语言的文本,把梳理好的有逻辑的答案呈现在你面前,这完全不同于传统搜索工具,这篇文章主要介绍了ChatGPT 帮我自动编写 Python 爬虫脚本,需要的朋友可以参考下
    2023-02-02
  • Python实现上传Minio和阿里Oss文件

    Python实现上传Minio和阿里Oss文件

    这篇文章主要介绍了如何通过Python上传Minio和阿里OSS文件,文中的示例代码介绍得很详细,对我们的工作和学习都有一定的价值,感兴趣的小伙伴可以了解一下
    2021-12-12
  • Pycharm中flask开启debug模式的详细流程

    Pycharm中flask开启debug模式的详细流程

    PyCharm是一个强大的集成开发环境(IDE),非常适合Python开发者,包括Flask框架,当你在使用Flask开发Web应用时,Debug功能是非常重要的,它允许你在运行时检查程序的状态、调试代码错误,本文将介绍Pycharm中flask开启debug模式的详细流程,需要的朋友可以参考下
    2024-08-08
  • Python+PyQt5实现美剧爬虫可视工具的方法

    Python+PyQt5实现美剧爬虫可视工具的方法

    这篇文章主要介绍了Python+PyQt5实现美剧爬虫可视工具的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-04-04
  • Python3.7实现中控考勤机自动连接

    Python3.7实现中控考勤机自动连接

    这篇文章主要为大家详细介绍了Python3.7实现中控考勤机自动连接,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-08-08
  • sqlalchemy实现时间列自动更新教程

    sqlalchemy实现时间列自动更新教程

    这篇文章主要介绍了sqlalchemy实现时间列自动更新教程,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-09-09
  • Python简单的GUI程序示例详解

    Python简单的GUI程序示例详解

    这篇文章主要为大家详细介绍了Python简单的GUI程序示例,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,希望能够给你带来帮助
    2022-02-02
  • Python中不同数据对象的空值校验的方法小结

    Python中不同数据对象的空值校验的方法小结

    Python中有多种数据对象,每种都有其特定的空值表示方法和校验方式,本文将深入探讨这些空值校验的方法,有需要的小伙伴可以参考一下
    2024-04-04
  • Python实现自动上传文件到百度网盘

    Python实现自动上传文件到百度网盘

    这篇文章主要为大家详细介绍了如何利用Python实现自动上传文件到百度网盘功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起了解一下
    2023-04-04

最新评论