python中urllib模块用法实例详解
本文实例讲述了python中urllib模块用法。分享给大家供大家参考。具体分析如下：
一、问题：
近期公司项目的需求是根据客户提供的api，我们定时去获取数据， 之前的方案是用php收集任务存入到redis队列，然后在linux下做一个常驻进程跑某一个php文件， 该php文件就一个无限循环，判断redis队列，有就执行，没有就break.
二、解决方法：
最近刚好学了一下python, python的urllib模块或许比php的curl更快，而且简单. 贴一下代码
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
import os
import json
from urllib import urlopen
doc = urlopen("http://xxxx?webid=1&tid=901&cateid=101").read()
doc = json.loads(doc)
print doc
print doc.keys()
print doc["msg"]
print doc['data']
print doc['ret']
发现第一次访问所需要的时间为[Finished in 3.0s]
而第二次访问的时间为[Finished in 0.2s]
可见python的urllib模块是加有缓存的
urllib/2用法典型的例子
import cookielib
import urllib
class Hi_login:
def __init__(self):
cookie = cookielib.CookieJar()
self.cookie = urllib2.HTTPCookieProcessor(cookie) ##### 生成cookie ###
def login(self,user,pwd):
url='http://passport.baidu.com/?login'
postdata=urllib.urlencode({
'mem_pass':'on',
'password':pwd
'Submit':'',
'tpl':'sp',
'tp_reg':'sp',
'u' :'http://hi.baidu.com',
'username':user})
### proxy_support = urllib2.ProxyHandler({"http":"http://ahad-haam:3128"}) 然后加入opener方法里####
opener = urllib2.build_opener(self.cookie) ### 使用cookie ###
headers = { ####### dict结构，可以加入x-forward-for甚至refer等 #######
'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
urllib2.install_opener(opener)
request = urllib2.Request(url,urllib.urlencode(postdata),headers = headers)
urllib2.urlopen(request)
if __name__=='__main__':
pwd='123456'
user='xiaofu'
test=Hi_login()
test.login(user,pwd)
假如访问需要认证的页面比如nagios监控页面等，
password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm()
url = "http://202.1.x.y/nagios"
password_mgr.add_password(None, url, user='abc',passwd='xxxxxx')
handler = urllib2.HTTPBasicAuthHandler(password_mgr)
opener = urllib2.build_opener(handler)
urllib2.install_opener(opener)
f=urllib2.urlopen(url)
print f.code
返回结果200，否则就是401认证错误
希望本文所述对大家的Python程序设计有所帮助。
相关文章
词云一般是根据输入的大量词语生成的,如果某个词语出现的次数越多,那么相应的大小就会越大,本文将利用wordcloud模块实现词云生成,需要的可以参考下2023-10-10
安装好PyCharm之后,新建或者导入项目碰到找不到解释器的情况,不用担心,追根到底,咱们就是需要找到pycharm*.exe的文件,那么这个文件在哪里呢？所以本文就给大家介绍一下pycharm找不到解释器问题的解决方案,需要的朋友可以参考下2024-04-04
这篇文章主要介绍了python面向对象多线程爬虫爬取搜狐页面的实例代码,需要的朋友可以参考下2018-05-05
pip如果不配置国内镜像源的话,下载包的速度非常慢,毕竟默认的源在国外呢,这篇文章主要介绍了Python-pip配置国内镜像源快速下载包的方法详解,需要的朋友可以参考下2024-01-01
这篇文章主要介绍了Python中asyncore的用法,asyncore提供了方便的网络操作方法,本文以连接并解析www.python.org主页为例加以说明,需要的朋友可以参考下2014-09-09
这篇文章主要为大家详细介绍了Django RestFramework 全局异常处理，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-02-02![python dict.get()和dict[''key'']的区别详解](//img.jbzj.com/images/xgimg/bcimg6.png)
python dict.get()和dict[''key'']的区别详解
下面小编就为大家带来一篇python dict.get()和dict['key']的区别详解。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2016-06-06
在PyTorch中,nn.Module类是构建神经网络模型的基础类,所有自定义的层、模块或整个神经网络架构都需要继承自这个类,本文介绍PyTorch的nn.Module类的定义和使用介绍,感兴趣的朋友一起看看吧2024-01-01
这篇文章主要介绍了Python之变量类型和if判断方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
这篇文章主要为大家详细介绍了微信跳一跳小程序Python脚本，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-01-01
![python dict.get()和dict[''key'']的区别详解](http://img.jbzj.com/images/xgimg/bcimg6.png)
最新评论