Python使用scrapy采集时伪装成HTTP/1.1的方法
更新时间：2015年04月08日 10:18:35 作者：pythoner
这篇文章主要介绍了Python使用scrapy采集时伪装成HTTP/1.1的方法,实例分析了scrapy采集的使用技巧,非常具有实用价值,需要的朋友可以参考下
本文实例讲述了Python使用scrapy采集时伪装成HTTP/1.1的方法。分享给大家供大家参考。具体如下：
添加下面的代码到 settings.py 文件
复制代码 代码如下:
DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.HTTPClientFactory'
保存以下代码到单独的.py文件
复制代码 代码如下:
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class PageGetter(ScrapyHTTPPageGetter):
def sendCommand(self, command, path):
self.transport.write('%s %s HTTP/1.1\r\n' % (command, path))
class HTTPClientFactory(ScrapyHTTPClientFactory):
protocol = PageGetter
class PageGetter(ScrapyHTTPPageGetter):
def sendCommand(self, command, path):
self.transport.write('%s %s HTTP/1.1\r\n' % (command, path))
class HTTPClientFactory(ScrapyHTTPClientFactory):
protocol = PageGetter
希望本文所述对大家的Python程序设计有所帮助。
相关文章
这篇文章主要介绍了深入浅析python继承问题的相关资料，非常不错，感兴趣的朋友一起看看吧2016-05-05
今天小编就为大家分享一篇python实现一个点绕另一个点旋转后的坐标，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
最近在使用python做接口测试，发现python中http请求方法有许多种，今天抽点时间把相关内容整理，对python http请求相关知识感兴趣的朋友一起学习吧2016-01-01
在本篇文章里小编给大家分享了关于python代码运行助手用法，需要的朋友们可以学习下。2020-07-07
本文主要介绍了Python+Selenium实现自动填写问卷，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-07-07
这篇文章主要介绍了Python批量安装卸载1000个apk的方法，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2020-04-04
这篇文章主要介绍了Python中的pack和unpack的使用,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-03-03
这篇文章主要介绍了Python利用Xpath选择器爬取京东网商品信息,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
本教程的最终目的就是教会大家如何使用Python制作网站，非常的详尽，需要的朋友可以参考下2014-10-10
python matplotlib自定义colorbar颜色条及内置色条详解
由于自己画图的需要想要用一些自定义的颜色来做一个colorbar,所以下面这篇文章主要给大家介绍了关于python matplotlib自定义colorbar颜色条及内置色条的相关资料,需要的朋友可以参考下2022-08-08
最新评论