对python多线程与global变量详解

更新时间：2018年11月09日 11:07:52 作者：hsj_csdn

今天小编就为大家分享一篇对python多线程与global变量详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

今天早上起来写爬虫，基本框架已经搭好，添加多线程爬取功能时，发现出错：

比如在下载文件的url列表中加入200个url，开启50个线程。我的爬虫…竟然将50个url爬取并全部命名为0.html，也就是说，最后的下载结果，是有1个0.html（重复的覆盖了），还有1-150。下面是我的代码：

x = str(theguardian_globle.g)
 #x为给下载的文件命的名
 filePath = "E://wgetWeiBao//"+x+".html"
 try:
  wget.download(url,filePath)
  theguardian_globle.g+=1
  print x+" is downloading..."
 
 except:
  print "error!"

#这个是全局变量g的定义
global g
 
g = 0

后来终于发现问题：多线程+全局变量是个危险的组合，因为程序有多个线程在同时执行，多个线程同时操作全局变量，会引起混乱。在多线程中操作全局变量，应当给该操作加锁。

以下为修改后的代码：

函数：
 
def downLoad(url,num):
 x = str(num)
 filePath = "E://wgetWeiBao//"+x+".html"
 try:
  wget.download(url,filePath)
  print x+" is downloading..."
 
 except:
  print "error!"

多线程消费者_给操作全局变量的语句加锁
class Cosumer(threading.Thread):
 def run(self):
  print('%s:started' % threading.current_thread())
 
  while True:
   global gCondition
   gCondition.acquire()
   while q.empty()==True:
    gCondition.wait()
   url = q.get()
   num = theguardian_globle.g
   theguardian_globle.g+=1
   gCondition.release()
   downLoad(url,num)

大功告成！

以上这篇对python多线程与global变量详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python matplotlib实战之气泡图绘制
气泡图是一种多变量的统计图表,可以看作是散点图的变形,这篇文章主要为大家介绍了如何使用Matplotlib绘制气泡图,需要的小伙伴可以参考下
2023-08-08
Python使用functools实现注解同步方法
这篇文章主要介绍了Python使用functools实现注解同步方法,非常不错，具有参考借鉴价值，需要的朋友可以参考下
2018-02-02
numpy按列连接两个维数不同的数组方式
今天小编就为大家分享一篇numpy按列连接两个维数不同的数组方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-12-12
python redis 批量设置过期key过程解析
这篇文章主要介绍了python redis 批量设置过期key过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-11-11
Python 变量教程之打包和解包参数
这篇文章主要介绍了Python 变量教程之打包和解包参数，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下
2022-08-08
Python编程利用Numpy和PIL库将图片转化为手绘
这篇文章主要介绍了Python编程利用Numpy和PIL库将一张图片转化为手绘风格，文中附含详细实现的示例代码，有需要的朋友可以借鉴参考下
2021-09-09
Python Django框架实现应用添加logging日志操作示例
这篇文章主要介绍了Python Django框架实现应用添加logging日志操作,结合实例形式分析了Django框架中添加Python内建日志模块相关操作技巧,需要的朋友可以参考下
2019-05-05
pandas 时间格式转换的实现
这篇文章主要介绍了pandas 时间格式转换的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-07-07
Python爬虫实现vip电影下载的示例代码
这篇文章主要介绍了Python爬虫实现vip电影下载的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-04-04
python操作MongoDB基础知识
MongoDB支持好多语言，今天我们就写一写python操作MongoDB的知识，从安装MongoDB到操作MongoDB全都有了。
2013-11-11