Python urlopen()函数 示例分享
更新时间：2014年06月12日 17:41:42 投稿：hebedich
urlopen(url, data=None, proxies=None) 即创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。参数url表示远程数据的路径，一般是网址;参数data表示以post方式提交到url的数据;参数proxies用于设置代理。
好了，废话少说，我们先看看几个示例吧
一、打开一个网页获取所有的内容
复制代码 代码如下:
from urllib import urlopen
doc = urlopen("http://www.baidu.com").read()
print doc
二、获取Http头
复制代码 代码如下:
from urllib import urlopen
doc = urlopen("http://www.baidu.com")
print doc.info()
print doc.info().getheader('Content-Type')
三、使用代理
1. 查看环境变量
复制代码 代码如下:
print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()])
print os.getenv("http_proxy")
2. 设置环境变量
复制代码 代码如下:
import os
os.putenv("http_proxy", "http://proxyaddr:<port>")
3. 使用代理
复制代码 代码如下:
# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)
相关文章
这篇文章主要介绍了python网络爬虫 CrawlSpider使用详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
Python连接SQLite数据库并进行增册改查操作方法详解
这篇文章主要介绍了Python对SQLite数据库进行增册改查操作方法详解,需要的朋友可以参考下2020-02-02
这篇文章主要介绍了Python去除列表中重复元素的方法,实例分析了Python中去除列表重复元素的使用技巧,需要的朋友可以参考下2015-03-03
梯度简单来说就是求导。本文主要介绍了OpenCV 图像梯度的实现方法，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-07-07
这篇文章主要介绍了python安装numpy和pandas的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-05-05
今天小编就为大家分享一篇django echarts饼图数据动态加载的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
Windows11使用Cpython 编译文件报错 error: Unable to find vcvars
这篇文章主要介绍了Windows11使用Cpython编译文件报错error:Unable to find vcvarsall.bat完美解决方法,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-05-05
元类是Python中最高级别的编程概念之一,用于创建类的类,虽然元类在日常Python编程中并不常见,但它们提供了无限的可能性来改变类的行为,从而使元编程成为可能,这篇文章主要给大家介绍了关于python高级之元类的相关资料,需要的朋友可以参考下2024-08-08
这篇文章主要给大家介绍了关于利用Python如何画一颗心、小人发射爱心的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-02-02
Python之日期与时间处理模块（date和datetime）
这篇文章主要介绍了Python之日期与时间处理模块（date和datetime），小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-02-02
最新评论