脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python subprocess.Popen子进程管道阻塞

对Python subprocess.Popen子进程管道阻塞详解

 更新时间：2018年10月29日 08:44:36   作者：独一无二的小个性  
今天小编就为大家分享一篇对Python subprocess.Popen子进程管道阻塞详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

问题产生描述

使用子进程处理一个大的日志文件，并对文件进行分析查询，需要等待子进程执行的输出结果，进行下一步处理。

出问题的代码

# 启用子进程执行外部shell命令
def __subprocess(self,cmd):
 try:
 # 执行外部shell命令， 输出结果输出管道
 p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT) 
 p.wait()

 # 从标准输出读出shell命令的输出结果
 #rt = p.stdout.read().decode()

 # 以换行符拆分数据，并去掉换行符号存入列表
 rt_list = rt.strip().split('\n')

 except Exception as e:
 if(DEBUG):
  print(traceback.format_exc())

 return rt_list

问题分析

子进程产生一些数据，他们会被buffer起来，当buffer满了，会写到子进程的标准输出和标准错误输出，这些东西通过管道发送给父进程。当管道满了之后，子进程就停止写入，于是就卡住了，及时取走管道的输出就不会出现阻塞了

但是本人此处采取的是临时文件接收子进程输出，由于临时文件是建立在磁盘上的，没有size的限制，并且文件被close后，相应的磁盘上的空间也会被释放掉。

已改进的代码

import tempfile
# 启用子进程执行外部shell命令
def __subprocess(self,cmd):
 try:
 # 得到一个临时文件对象， 调用close后，此文件从磁盘删除
 out_temp = tempfile.TemporaryFile(mode='w+')
 # 获取临时文件的文件号
 fileno = out_temp.fileno()

 # 执行外部shell命令， 输出结果存入临时文件中
 p = subprocess.Popen(cmd, shell=True, stdout=fileno, stderr=fileno) 
 p.wait()

 # 从临时文件读出shell命令的输出结果
 out_temp.seek(0)
 rt = out_temp.read()

 # 以换行符拆分数据，并去掉换行符号存入列表
 rt_list = rt.strip().split('\n')

 except Exception as e:
 if(DEBUG):
  print(traceback.format_exc())

 finally:
 if out_temp:
  out_temp.close()

 return rt_list

以上这篇对Python subprocess.Popen子进程管道阻塞详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • matplotlib 范围选区(SpanSelector)的使用

    matplotlib 范围选区(SpanSelector)的使用

    这篇文章主要介绍了matplotlib 范围选区(SpanSelector)的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-02-02
  • python判断windows隐藏文件的方法

    python判断windows隐藏文件的方法

    inux 下隐藏文件是以句号 “.” 开头的文件，根据文件名即可判断是否为隐藏文件。win 下是以文件隐藏属性确定的，所以，只能通过微软的 API 获取隐藏属性来判断是否为隐藏文件
    2014-03-03
  • Python生成数字图片代码分享

    Python生成数字图片代码分享

    这篇文章主要介绍了Python生成数字图片代码分享，具有一定参考价值，需要的朋友可以了解下。
    2017-10-10
  • Python timeit使用小结

    Python timeit使用小结

    本文主要介绍了Python timeit使用小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2025-01-01
  • pycharm进入科学模式以及退出方式

    pycharm进入科学模式以及退出方式

    这篇文章主要介绍了pycharm进入科学模式以及退出方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • 简单谈谈python中的lambda表达式

    简单谈谈python中的lambda表达式

    Lambda表达式在Python中经常使用到，本文是给大家分享的小编总结出来的Lambda表达式的常用方法。
    2018-01-01
  • Django url 路由匹配过程详解

    Django url 路由匹配过程详解

    这篇文章主要介绍了Django url 路由匹配过程详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-01-01
  • Python高级特性之切片迭代列表生成式及生成器详解

    Python高级特性之切片迭代列表生成式及生成器详解

    这篇文章主要为大家介绍了Python高级特性之切片迭代列表生成式及生成器详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2021-10-10
  • 在python中使用SQLAlchemy查询PostgreSQL视图的流程步骤

    在python中使用SQLAlchemy查询PostgreSQL视图的流程步骤

    作为软件开发人员,查询 PostgreSQL 视图是一项常见任务,使用视图（代表SQL 查询输出的虚拟表）被认为是处理关系数据库时的有效方法,本文介绍如何在 Python 中使用 SQLAlchemy 查询 PostgreSQL 视图,需要的朋友可以参考下
    2023-09-09
  • 如何在Python中对文件进行操作

    如何在Python中对文件进行操作

    这篇文章主要介绍了如何在Python中对文件进行操作，文章围绕主题展开内容，即使用Python中内置的open()函数来打开文件，返回文件对象，并对文件进行处理
    2022-08-08

最新评论