python线程池的实现实例
更新时间：2013年11月18日 10:48:27 作者：
这篇文章主要介绍了python线程池的实现方法，代码简单实用，供大家参考使用
直接上代码：
复制代码 代码如下:
# -*- coding: utf-8 -*-
import Queue
import threading
import urllib
import urllib2
import os
def down(url,n):
print 'item '+str(n)+' start '
filename=urllib2.unquote(url).decode('utf8').split('/')[-1]
urllib.urlretrieve(url, filename)
print 'item '+str(n)+' finish '
def worker():
while True:
i = q.get()
url=i[0]
n=i[1]
down(url,n)
q.task_done()
if __name__=="__main__":
num_worker_threads=100
f=open('url.txt')
l=f.readlines()
q = Queue.Queue()
for i in range(num_worker_threads):
t = threading.Thread(target=worker)
t.daemon = True
t.start()
for i in range(0,len(l)):
q.put((l[i],i))
q.join()
相关文章
这篇文章主要介绍了Python实现简单的代理服务器,可实现代理服务器基本的包转发功能,具有一定参考借鉴价值,需要的朋友可以参考下2015-07-07
这篇文章主要给大家介绍了关于Python基本知识之datetime模块的相关资料,Python内置的时间模块datetime包含下面的模块包含六个类和两个常数,提供了用于处理日期和时间的类和对应的方法,一般用于处理年、月、日、时、分、秒的统计和计算等需求,需要的朋友可以参考下2023-08-08
pycharm不在cmd中运行却在python控制台运行问题解决
这篇文章主要介绍了pycharm不在cmd中运行却在python控制台运行问题解决,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-08-08
这篇文章主要介绍了Python爬取个人微信朋友信息操作,涉及Python使用itchat包实现微信朋友信息爬取操作相关实现技巧,需要的朋友可以参考下2018-08-08
Python区块链范围结论及Genesis Block的添加教程
这篇文章主要为大家介绍了Python区块链范围结论及Genesis Block的添加，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
这篇文章主要介绍了python使用matplotlib绘制折线图的示例代码，帮助大家更好的利用matplotlib绘制图形，感兴趣的朋友可以了解下2020-09-09
这篇文章主要介绍了关于tensorflow softmax函数用法解析，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
我们在使用爬虫来抓取网页内容的时候，HTTP异常是必须要注意的一项，所以本文，我们来详细探寻一下HTTP异常处理的相关内容，通过一些具体的实例来分析一下，非常的简单，但是却很实用。2014-11-11
在Python编程中,经常需要在字符串中插入变量或占位符来构建动态的文本内容,这篇文章主要为大家介绍了一些常见占位符的使用,需要的可以了解下2024-01-01
python pandas dataframe 按列或者按行合并的方法
下面小编就为大家分享一篇python pandas dataframe 按列或者按行合并的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
最新评论