Python urllib模块urlopen()与urlretrieve()详解
1.urlopen()方法
urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。
参数url表示远程数据的路径，一般是网址；
参数data表示以post方式提交到url的数据(玩过web的人应该知道提交数据的两种方式：post与get。如果你不清楚，也不必太在意，一般情况下很少用到这个参数)；
参数proxies用于设置代理。
urlopen返回 一个类文件对象，它提供了如下方法：
read() , readline() , readlines() , fileno() , close() ：这些方法的使用方式与文件对象完全一样;
info()：返回一个httplib.HTTPMessage 对象，表示远程服务器返回的头信息
getcode()：返回Http状态码。如果是http请求，200表示请求成功完成;404表示网址未找到；
geturl()：返回请求的url；
代码示例：
import urllib
url = "http://www.baidu.com/"
#urlopen()
sock = urllib.urlopen(url)
htmlCode = sock.read()
sock.close
fp = open("e:/1.html","wb")
fp.write(htmlCode)
fp.close
#urlretrieve()
urllib.urlretrieve(url, 'e:/2.html')
2.urlretrieve方法
直接将远程数据下载到本地。
urllib.urlretrieve(url[, filename[, reporthook[, data]]])
参数说明：
url：外部或者本地url
filename：指定了保存到本地的路径（如果未指定该参数，urllib会生成一个临时文件来保存数据）；
reporthook：是一个回调函数，当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度。
data：指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers)，filename表示保存到本地的路径，header表示服务器的响应头。
下面通过例子来演示一下这个方法的使用，这个例子将新浪首页的html抓取到本地，保存在D:/sina.html文件中，同时显示下载的进度。
import urllib
def callbackfunc(blocknum, blocksize, totalsize):
'''回调函数
@blocknum: 已经下载的数据块
@blocksize: 数据块的大小
@totalsize: 远程文件的大小
'''
percent = 100.0 * blocknum * blocksize / totalsize
if percent > 100:
percent = 100
print "%.2f%%"% percent
url = 'http://www.sina.com.cn'
local = 'd:\\sina.html'
urllib.urlretrieve(url, local, callbackfunc)
相关文章
Python并发编程让程序能同时执行多个任务,Python提供多种并发实现方式,包括多线程、多进程、异步编程等,多线程受全局解释器锁（GIL）影响,在CPU密集型任务上不提升性能,但适合I/O密集型任务,多进程适用于CPU密集型任务2024-10-10
这篇文章主要介绍了python使用pika库调用rabbitmq参数使用详情，文章通过展开文章主题分享了三种方式，具有一定的参考价值，需要的朋友可以参考一下2022-08-08
这篇文章主要介绍了python实现彩票系统，主要采用面向对象的方法，信息存储方式采用pickle模块来进行存储，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-08-08
一文教你如何用Python轻轻松松操作Excel,Word,CSV
数据处理是 Python 的一大应用场景，而 Excel 又是当前最流行的数据处理软件。本文将为大家详细介绍一下如何用Python轻轻松松操作Excel、Word、CSV，需要的可以参考一下2022-02-02
这篇文章主要介绍了pycharm 实现调试窗口恢复的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-02-02
这篇文章主要介绍了举例详解Python中threading模块的几个常用方法,threading模块用来创建和操作线程,是Python学习当中的重要知识,需要的朋友可以参考下2015-06-06
这篇文章主要介绍了python 实现syslog服务器的详细过程，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2022-08-08
今天小编就为大家分享一篇解决python xx.py文件点击完之后一闪而过的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-06-06
这篇文章主要为大家详细介绍了Python如何结合PyQt6编写一个图片播放器,文中的示例代码讲解详细,具有一定的借鉴价值,需要的小伙伴可以参考下2025-02-02
这篇文章主要介绍了Python实现的插入排序算法原理与用法,简单描述了插入排序的原理,并结合实例形式分析了Python实现插入排序的相关操作技巧,需要的朋友可以参考下2017-11-11
最新评论