python线程池的实现实例

 更新时间:2013年11月18日 10:48:27   转载 作者:  
这篇文章主要介绍了python线程池的实现方法,代码简单实用,供大家参考使用

直接上代码:

复制代码 代码如下:

# -*- coding: utf-8 -*-
import Queue
import threading
import urllib
import urllib2
import os

def down(url,n):
    print 'item '+str(n)+' start '
    filename=urllib2.unquote(url).decode('utf8').split('/')[-1]
    urllib.urlretrieve(url, filename)
    print 'item '+str(n)+' finish '


def worker():
    while True:
        i = q.get()
        url=i[0]
        n=i[1]
        down(url,n)
        q.task_done()


if __name__=="__main__":

    num_worker_threads=100

    f=open('url.txt')
    l=f.readlines()
    q = Queue.Queue()
    for i in range(num_worker_threads):
        t = threading.Thread(target=worker)
        t.daemon = True
        t.start()

    for i in range(0,len(l)):
        q.put((l[i],i))

    q.join()

相关文章

  • PYTHON EVAL的用法及注意事项解析

    PYTHON EVAL的用法及注意事项解析

    这篇文章主要介绍了PYTHON EVAL的用法及注意事项解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-09-09
  • python利用requests库模拟post请求时json的使用教程

    python利用requests库模拟post请求时json的使用教程

    这篇文章主要介绍了python利用requests库模拟post请求时json的使用 ,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2018-12-12
  • Python网络爬虫四大选择器用法原理总结

    Python网络爬虫四大选择器用法原理总结

    这篇文章主要介绍了Python网络爬虫四大选择器用法原理总结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-06-06
  • 解决安装python3.7.4报错Can''''t connect to HTTPS URL because the SSL module is not available

    解决安装python3.7.4报错Can''''t connect to HTTPS URL because

    这篇文章主要介绍了解决安装python3.7.4报错Can't connect to HTTPS URL because the SSL module is not available,本文给大家简单分析了错误原因,给出了解决方法,需要的朋友可以参考下
    2019-07-07
  • Django用户身份验证完成示例代码

    Django用户身份验证完成示例代码

    这篇文章主要介绍了Django用户身份验证完成示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-04-04
  • 如何利用Boost.Python实现Python C/C++混合编程详解

    如何利用Boost.Python实现Python C/C++混合编程详解

    这篇文章主要给大家介绍了关于如何利用Boost.Python实现Python C/C++混合编程的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起看看吧
    2018-11-11
  • Python中lambda的用法及其与def的区别解析

    Python中lambda的用法及其与def的区别解析

    这篇文章主要介绍了Python中lambda的用法及其与def的区别解析,需要的朋友可以参考下
    2014-07-07
  • Flask之flask-script模块使用

    Flask之flask-script模块使用

    Flask Script扩展提供向Flask插入外部脚本的功能,这篇文章主要介绍了Flask之flask-script模块使用,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-07-07
  • Python遍历目录并批量更换文件名和目录名的方法

    Python遍历目录并批量更换文件名和目录名的方法

    这篇文章主要介绍了Python遍历目录并批量更换文件名和目录名的方法,涉及Python针对文件与目录的遍历、读取及修改等操作技巧,需要的朋友可以参考下
    2016-09-09
  • Python异常处理总结

    Python异常处理总结

    这篇文章主要介绍了Python异常处理总结,需要的朋友可以参考下
    2014-08-08

最新评论