python中使用urllib2伪造HTTP报头的2个方法
更新时间:2014年07月07日 10:43:58 投稿:junjie
这篇文章主要介绍了python中使用urllib2伪造HTTP报头的2个方法,即伪造http头信息,需要的朋友可以参考下
在采集网页信息的时候,经常需要伪造报头来实现采集脚本的有效执行
下面,我们将使用urllib2的header部分伪造报头来实现采集信息
方法1、
#!/usr/bin/python
# -*- coding: utf-8 -*-
#encoding=utf-8
#Filename:urllib2-header.py
import urllib2
import sys
#抓取网页内容-发送报头-1
url= "https://www.jb51.net"
send_headers = {
'Host':'www.jb51.net',
'User-Agent':'Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Connection':'keep-alive'
}
req = urllib2.Request(url,headers=send_headers)
r = urllib2.urlopen(req)
html = r.read() #返回网页内容
receive_header = r.info() #返回的报头信息
# sys.getfilesystemencoding()
html = html.decode('utf-8','replace').encode(sys.getfilesystemencoding()) #转码:避免输出出现乱码
print receive_header
# print '####################################'
print html
方法2、
#!/usr/bin/python
# -*- coding: utf-8 -*-
#encoding=utf-8
#Filename:urllib2-header.py
import urllib2
import sys
url = 'https://www.jb51.net'
req = urllib2.Request(url)
req.add_header('Referer','https://www.jb51.net/')
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0')
r = urllib2.urlopen(req)
html = r.read()
receive_header = r.info()
html = html.decode('utf-8').encode(sys.getfilesystemencoding())
print receive_header
print '#####################################'
print html
您可能感兴趣的文章:
相关文章
python 随机数使用方法,推导以及字符串,双色球小程序实例
下面小编就为大家带来一篇python 随机数使用方法,推导以及字符串,双色球小程序实例。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧2017-09-09
pandas缺失值np.nan, np.isnan, None, pd.isnull,&n
本文主要介绍了pandas缺失值np.nan, np.isnan, None, pd.isnull, pd.isna2024-04-04
python 进制转换 int、bin、oct、hex的原理
这篇文章主要介绍了python 进制转换 int、bin、oct、hex的原理,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2021-01-01
Python 安装第三方库 pip install 安装慢安装不上的解决办法
很多朋友反映在使用pip install安装python 第三方库的过程中会出现网速很慢,或者是安装下载到中途,停止,卡主,或者是下载报错等问题,下面小编给大家带来了解决方法,一起看看吧2019-06-06
python openpyxl提取Excel图片实现原理技巧
在这篇文章中,将介绍如何使用openpyxl来提取Excel中的图片,以及它的原理和技巧,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01


最新评论