python基于queue和threading实现多线程下载实例

 更新时间:2014年10月08日 08:44:48   转载 投稿:shichen2014  
这篇文章主要介绍了python基于queue和threading实现多线程下载实例,是比较实用的技巧,需要的朋友可以参考下

本文实例讲述了python基于queue和threading实现多线程下载的方法,分享给大家供大家参考。具体方法如下:

主代码如下:

  #download worker 
  queue_download = Queue.Queue(0) 
  DOWNLOAD_WORKERS = 20 
  for i in range(DOWNLOAD_WORKERS): 
    DownloadWorker(queue_download).start() #start a download worker 
     
  for md5 in MD5S: 
    queue_download.put(md5) 
  for i in range(DOWNLOAD_WORKERS): 
    queue_download.put(None) 

其中downloadworkers.py
类继承 threading.Thread,重载run方法..在__init__中调用threading.Thread.__init__(self),
在run方法中实现耗时的操作

import threading 
import Queue 
import md5query 
import DOM 
import os,sys 

class DownloadWorker(threading.Thread): 
  """""" 
 

  def __init__(self, queue): 
    """Constructor""" 
    self.__queue = queue 
    threading.Thread.__init__(self) 
 
 
  def run(self): 
    while 1: 
      md5 = self.__queue.get() 
      if md5 is None: 
        break #reached end of queue 
      #this is a time-cost produce 
      self._down(md5) 
 
      print "task:", md5, "finished" 
 
  def _down(self, md5): 
    config = { 
      'input':sys.stdin,  
      'output':'./samples',  
      'location':'xxx',  
      'has-fn':False,  
      'options':{'connect.timeout':60, 'timeout':3600},  
      'log':file('logs.txt', 'w'),  
    } 
    print 'download %s...' % (md5) 
    try: 
      data = downloadproc(config['location'], config['options'])#我的下载过程 
      if data: 
        dom, fileData = md5query.splited(data) 
        filename = md5 
        if config['has-fn']: 
          filename = '%s_%s' % (md5, dom.nodeValue2('xxxxxxx', '').encode('utf-8'))#这是我的下载的方法 
        f = file(os.path.join(config['output'], filename), 'w') 
        f.write(fileData) 
        f.close() 
 
        print '%s\tok' % (md5) 
      else: 
        print>>config['log'], '%s\t%s' % (md5, 'failed') 
    except Exception, e: 
      print>>config['log'], '%s\t%s' % (md5, str(e))

希望本文所述对大家的Python程序设计有所帮助。

相关文章

  • python语言中有算法吗

    python语言中有算法吗

    在本篇文章里小编给大家整理的是一篇关于python里算法的相关知识点内容,有兴趣的朋友们可以学习下。
    2020-06-06
  • python+Django+pycharm+mysql 搭建首个web项目详解

    python+Django+pycharm+mysql 搭建首个web项目详解

    这篇文章主要介绍了python+Django+pycharm+mysql 搭建首个web项目,结合实例形式详细分析了python+Django+pycharm+mysql搭建web项目的具体步骤与相关操作技巧,需要的朋友可以参考下
    2019-11-11
  • python使用正则搜索字符串或文件中的浮点数代码实例

    python使用正则搜索字符串或文件中的浮点数代码实例

    这篇文章主要介绍了python使用正则搜索字符串或文件中的浮点数代码实例,同时包含一个读写到文件功能,需要的朋友可以参考下
    2014-07-07
  • python模块之paramiko实例代码

    python模块之paramiko实例代码

    这篇文章主要介绍了python模块之paramiko,分享了相关代码示例,小编觉得还是挺不错的,具有一定借鉴价值,需要的朋友可以参考下
    2018-01-01
  • centos6.7安装python2.7.11的具体方法

    centos6.7安装python2.7.11的具体方法

    下面小编就为大家带来一篇centos6.7安装python2.7.11的具体方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-01-01
  • python3正则模块re的使用方法详解

    python3正则模块re的使用方法详解

    这篇文章主要介绍了python3正则模块re的使用方法详解,需要的朋友可以参考下
    2020-02-02
  • Tornado服务器中绑定域名、虚拟主机的方法

    Tornado服务器中绑定域名、虚拟主机的方法

    这篇文章主要介绍了Tornado服务器中绑定域名、虚拟主机的方法,本人查看了Tornado才得的方法,特此分享,需要的朋友可以参考下
    2014-08-08
  • python几种常用功能实现代码实例

    python几种常用功能实现代码实例

    这篇文章主要介绍了python几种常用功能实现代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • Python中的 ansible 动态Inventory 脚本

    Python中的 ansible 动态Inventory 脚本

    这篇文章主要介绍了Python中的 ansible 动态Inventory 脚本,本章节通过实例代码从mysql数据作为数据源生成动态ansible主机为入口介绍的非常详细,感兴趣的朋友跟随小编一起看看吧
    2020-01-01
  • Python文本文件的合并操作方法代码实例

    Python文本文件的合并操作方法代码实例

    这篇文章主要介绍了Python文本文件的合并操作方法代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-03-03

最新评论