深入分析在Python模块顶层运行的代码引起的一个Bug
然后我们在Interactive Python prompt中测试了一下:
>>> import subprocess
>>> subprocess.check_call("false")
0
而在其他机器运行相同的代码时, 却正确的抛出了错误:
>>> subprocess.check_call("false")
Traceback (most recent call last):
File "", line 1, in
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/subprocess.py", line 542, in check_call
raise CalledProcessError(retcode, cmd)
subprocess.CalledProcessError: Command 'false' returned non-zero exit status 1
看来是subprecess误以为子进程成功的退出了导致的原因.
深入分析
第一眼看上去, 这一问题应该是Python自身或操作系统引起的. 这到底是怎么发生的? 于是我的同事查看了subprocess的wait()方法:
def wait(self):
"""Wait for child process to terminate. Returns returncode attribute."""
while self.returncode is None:
try:
pid, sts = _eintr_retry_call(os.waitpid, self.pid, 0)
except OSError as e:
if e.errno != errno.ECHILD:
raise
# This happens if SIGCLD is set to be ignored or waiting
# for child processes has otherwise been disabled for our
# process. This child is dead, we can't get the status.
pid = self.pid
sts = 0
# Check the pid and loop as waitpid has been known to return
# 0 even without WNOHANG in odd situations. issue14396.
if pid == self.pid:
self._handle_exitstatus(sts)
return self.returncode
可见, 如果os.waitpid的ECHILD检测失败, 那么错误就不会被抛出. 通常, 当一个进程结束后, 系统会继续记录其信息, 直到母进程调用wait()方法. 在此期间, 这一进程就叫"zombie". 如果子进程不存在, 那么我们就无法得知其是否成功还是失败了.
以上代码还能解决另外一个问题: Python默认认为子进程成功退出. 大多数情况下, 这一假设是没问题的. 但当一个进程明确表明忽略子进程的SIGCHLD时, waitpid()将永远是成功的.
回到原来的代码中
我们是不是在我们的程序中明确设置忽略SIGCHLD? 不太可能, 因为我们使用了大量的子进程, 但只有极少数情况下才出现同样的问题. 再使用git grep后, 我们发现只有在一段独立代码中, 我们忽略了SIGCHLD. 但这一代吗根本就不是程序的一部分, 只是引用了一下.
一星期后
一星期后, 这一错误又再一次发生. 并且通过简单的调试, 在debugger中重现了该错误.
经过一些测试, 我们确定了正是由于程序忽略了SIGCHLD才引起的这一bug. 但这是怎么发生的呢?
我们查看了那段独立代码, 其中有一段:
signal.signal(signal.SIGCHLD, signal.SIG_IGN)
我们是不是无意间import了这段代码到程序中? 结果显示我们的猜测是正确的. 当import了这段代码后, 由于以上语句是在这一module的顶层, 而不是在一个function中, 导致了它的运行, 忽略了SIGCHLD, 从而导致了子进程错误没有被抛出!
总结
这一bug的发生, 给了我们两个教训. 第一是, 在debug检查时, 应该从新的代码到老的代码, 再到Python Library. 因为新代码发生错误的几率大于老代码, 而python library中发生错误的几率更小.
第二是, 不要将可能会引起副作用的代码写在module顶层, 而应当写到functuon中. 因为如果该module被import, 那么在顶层的代码就会运行, 导致各种不可知的事件发生.
相关文章
在Python中,除非特别需要返回或传参元组,一般不推荐在语句末尾添加逗号，应该注意检查是否存在末尾逗号导致的这些副作用，这篇文章主要介绍了python末尾逗号导致返回结果是一个元组,需要的朋友可以参考下2023-09-09
这篇文章主要为大家详细介绍了plotly分割显示mnist的方法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-03-03
在本篇文章里小编给大家整理的是关于django-celery启动后迅速关闭的解决方法，有需要的朋友们学习下。2019-10-10
caffe binaryproto 与 npy相互转换的实例讲解
今天小编就为大家分享一篇caffe binaryproto 与 npy相互转换的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
这篇文章主要介绍了Python Asyncio调度原理详情，Python.Asyncio是一个大而全的库，它包括很多功能，而跟核心调度相关的逻辑除了三种可等待对象外，还有其它一些功能，它们分别位于runners.py，base_event.py，event.py三个文件中2022-06-06
Pandas 是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，今天通过本文给大家介绍Python Pandas的简单使用教程，感兴趣的朋友一起看看吧2021-08-08
在工作中,我们经常遇到将Excel表中的部分信息填写到Word文档的对应表格中,以生成报告,方便打印,所以本文小编就给大家介绍了如何使用Python实现一键往Word文档的表格中填写数据,文中有详细的代码示例供大家参考,需要的朋友可以参考下2023-12-12
这篇文章主要介绍了python使用正则表达式分析网页中的图片并进行替换的方法,涉及Python使用正则表达式的技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-03-03
今天小编就为大家分享一篇完美解决pycharm导入自己写的py文件爆红问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
这篇文章主要介绍了Python设计模式之迭代器模式原理与用法,结合具体实例形式分析了迭代器模式的概念、原理、定义及使用方法,代码注释说明简单易懂,需要的朋友可以参考下2019-01-01
最新评论