浅谈Python中的全局锁(GIL)问题

 更新时间:2019年01月11日 14:54:06   作者:xsj_blog   我要评论

今天小编就为大家分享一篇浅谈Python中的全局锁(GIL)问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

CPU-bound(计算密集型) 和I/O bound(I/O密集型)

计算密集型任务(CPU-bound) 的特点是要进行大量的计算,占据着主要的任务,消耗CPU资源,一直处于满负荷状态。比如复杂的加减乘除、计算圆周率、对视频进行高清解码等等,全靠CPU的运算能力。这种计算密集型任务虽然也可以用多任务完成,但是任务越多,花在任务切换的时间就越多,CPU执行任务的效率就越低,所以,要最高效地利用CPU,计算密集型任务同时进行的数量应当等于CPU的核心数。

计算密集型任务由于主要消耗CPU资源,因此,代码运行效率至关重要。Python这样的脚本语言运行效率很低,完全不适合计算密集型任务。对于计算密集型任务,最好用C语言编写。

IO密集型任务(I/O bound)的特点是指磁盘IO、网络IO占主要的任务,CPU消耗很少,任务的大部分时间都在等待IO操作完成(因为IO的速度远远低于CPU和内存的速度)。

IO密集型任务执行期间,99%的时间都花在IO上,花在CPU上的时间很少,因此,用运行速度极快的C语言替换用Python这样运行速度极低的脚本语言,完全无法提升运行效率。

对于IO密集型任务,任务越多,CPU效率越高,但也有一个限度。常见的大部分任务都是IO密集型任务,比如请求网页、读写文件等。当然我们在Python中可以利用sleep达到IO密集型任务的目的。

对于IO密集型任务,最合适的语言就是开发效率最高(代码量最少)的语言,脚本语言是首选,C语言最差。

全局锁问题:

解释器被一个全局解释器锁保护着,它确保任何时候都只有一个Python线程执行。

GIL最大的问题就是Python的多线程程序并不能利用多核CPU的优势 (比如一个使用了多个线程的计算密集型程序只会在一个单CPU上面运行)。

GIL只会影响到那些严重依赖CPU的程序(比如计算型的)

如果你的程序大部分只会设计到I/O,比如网络交互,那么使用多线程就很合适, 因为它们大部分时间都在等待。实际上,你完全可以放心的创建几千个Python线程, 现代操作系统运行这么多线程没有任何压力,没啥可担心的。

解决方案:

首先,如果你完全工作于Python环境中,你可以使用 multiprocessing 模块来创建一个进程池, 并像协同处理器一样的使用它。

pool = None

# Performs a large calculation (CPU bound)
def some_work(args):
 ...
 return result

def some_thread():
 while True:
  ...
  r = pool.apply(some_work, (args))
  ...

# Initiaze the pool
if __name__ == '__main__':
 import multiprocessing
 pool = multiprocessing.Pool()

另外一个解决GIL的策略是使用C扩展编程技术。 主要思想是将计算密集型任务转移给C,跟Python独立,在工作的时候在C代码中释放GIL。

以上这篇浅谈Python中的全局锁(GIL)问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • python自然语言编码转换模块codecs介绍

    python自然语言编码转换模块codecs介绍

    这篇文章主要介绍了python自然语言编码转换模块codecs介绍,codecs专门用作编码转换,通过它的接口是可以扩展到其他关于代码方面的转换,需要的朋友可以参考下
    2015-04-04
  • python实现通过pil模块对图片格式进行转换的方法

    python实现通过pil模块对图片格式进行转换的方法

    这篇文章主要介绍了python实现通过pil模块对图片格式进行转换的方法,涉及Python中pil模块的使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-03-03
  • Python Requests库基本用法示例

    Python Requests库基本用法示例

    这篇文章主要介绍了Python Requests库基本用法,结合实例形式总结分析了Python Requests库安装、请求发送与响应、文件下载、重定向等相关操作技巧及注意事项,需要的朋友可以参考下
    2018-08-08
  • python处理Excel xlrd的简单使用

    python处理Excel xlrd的简单使用

    这篇文章主要为大家详细介绍了python处理Excel的相关资料,xlrd的简单使用,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-09-09
  • python正常时间和unix时间戳相互转换的方法

    python正常时间和unix时间戳相互转换的方法

    这篇文章主要介绍了python正常时间和unix时间戳相互转换的方法,涉及时间字符串与Unix时间戳的实现与转换技巧,需要的朋友可以参考下
    2015-04-04
  • 浅谈python字符串方法的简单使用

    浅谈python字符串方法的简单使用

    下面小编就为大家带来一篇浅谈python字符串方法的简单使用。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-07-07
  • 使用Python脚本实现批量网站存活检测遇到问题及解决方法

    使用Python脚本实现批量网站存活检测遇到问题及解决方法

    本文是小编自己编写的一个使用python实现批量网站存活检测。在项目测试中非常有用。本文给大家分享了遇到的问题及解决方案,非常不错,具有参考借鉴价值,感兴趣的朋友一起看看吧
    2016-10-10
  • python+matplotlib绘制旋转椭圆实例代码

    python+matplotlib绘制旋转椭圆实例代码

    这篇文章主要介绍了python+matplotlib绘制旋转椭圆实例代码,具有一定借鉴价值,需要的朋友可以参考下
    2018-01-01
  • python 解压pkl文件的方法

    python 解压pkl文件的方法

    今天小编就为大家分享一篇python 解压pkl文件的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-10-10
  • Selenium定位元素操作示例

    Selenium定位元素操作示例

    这篇文章主要介绍了Selenium定位元素操作,结合实例形式总结分析了Selenium通过ID、name、XPath、标签名称、类名等进行元素定位操作的相关实现技巧,需要的朋友可以参考下
    2018-08-08

最新评论