脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python多线程与global变量

对python多线程与global变量详解

 更新时间：2018年11月09日 11:07:52   作者：hsj_csdn  
今天小编就为大家分享一篇对python多线程与global变量详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

今天早上起来写爬虫，基本框架已经搭好，添加多线程爬取功能时，发现出错：

比如在下载文件的url列表中加入200个url，开启50个线程。我的爬虫…竟然将50个url爬取并全部命名为0.html，也就是说，最后的下载结果，是有1个0.html（重复的覆盖了），还有1-150。下面是我的代码：

x = str(theguardian_globle.g)
 #x为给下载的文件命的名
 filePath = "E://wgetWeiBao//"+x+".html"
 try:
  wget.download(url,filePath)
  theguardian_globle.g+=1
  print x+" is downloading..."
 
 except:
  print "error!"
#这个是全局变量g的定义
global g
 
g = 0

后来终于发现问题：多线程+全局变量是个危险的组合，因为程序有多个线程在同时执行，多个线程同时操作全局变量，会引起混乱。在多线程中操作全局变量，应当给该操作加锁。

以下为修改后的代码：

函数：
 
def downLoad(url,num):
 x = str(num)
 filePath = "E://wgetWeiBao//"+x+".html"
 try:
  wget.download(url,filePath)
  print x+" is downloading..."
 
 except:
  print "error!"

多线程消费者_给操作全局变量的语句加锁
class Cosumer(threading.Thread):
 def run(self):
  print('%s:started' % threading.current_thread())
 
  while True:
   global gCondition
   gCondition.acquire()
   while q.empty()==True:
    gCondition.wait()
   url = q.get()
   num = theguardian_globle.g
   theguardian_globle.g+=1
   gCondition.release()
   downLoad(url,num)

大功告成！

以上这篇对python多线程与global变量详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • Python解析nginx日志文件

    Python解析nginx日志文件

    Web服务器的各种系统管理工作包括了多Nginx/Apache 日志的统计，python使这个任务变得极其简单，下面我们来详细讲解下具体的做法，有需要的小伙伴可以参考下。
    2015-05-05
  • Python程序员面试题 你必须提前准备!(答案及解析)

    Python程序员面试题 你必须提前准备!(答案及解析)

    这篇文章主要为大家解析了你必须提前准备的Python程序员面试题答案，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2018-01-01
  • Python处理字符串的常用函数实例总结

    Python处理字符串的常用函数实例总结

    在数据分析中,特别是文本分析中,字符处理需要耗费极大的精力,因而了解字符处理对于数据分析而言,也是一项很重要的能力,这篇文章主要给大家介绍了关于Python处理字符串的常用函数,需要的朋友可以参考下
    2021-11-11
  • PyTorch一小时掌握之autograd机制篇

    PyTorch一小时掌握之autograd机制篇

    这篇文章主要介绍了PyTorch一小时掌握之autograd机制篇，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2021-09-09
  • Python基于locals返回作用域字典

    Python基于locals返回作用域字典

    这篇文章主要介绍了Python基于locals返回作用域字典,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-10-10
  • Python如何把Spark数据写入ElasticSearch

    Python如何把Spark数据写入ElasticSearch

    这篇文章主要介绍了Python如何把Spark数据写入ElasticSearch,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-04-04
  • Python查询Mysql时返回字典结构的代码

    Python查询Mysql时返回字典结构的代码

    MySQLdb默认查询结果都是返回tuple，输出时候不是很方便，必须按照0，1这样读取，无意中在网上找到简单的修改方法，就是传递一个cursors.DictCursor就行
    2012-06-06
  • Python OpenCV实现人物动漫化效果

    Python OpenCV实现人物动漫化效果

    这篇文章主要介绍了利用Python和OpenCV实现人物的动漫化特效，文中的示例代码讲解详细，对我们学习Python和OpenCV有一定的帮助，需要的可以了解一下
    2022-01-01
  • OpenCV+Python识别车牌和字符分割的实现

    OpenCV+Python识别车牌和字符分割的实现

    这篇文章主要介绍了OpenCV+Python识别车牌和字符分割的实现，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2019-01-01
  • 几款好用的python工具库(小结)

    几款好用的python工具库(小结)

    这篇文章主要介绍了几款好用的python工具库(小结)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-10-10

最新评论