Python使用scrapy采集时伪装成HTTP/1.1的方法
更新时间：2015年04月08日 10:18:35 作者：pythoner
这篇文章主要介绍了Python使用scrapy采集时伪装成HTTP/1.1的方法,实例分析了scrapy采集的使用技巧,非常具有实用价值,需要的朋友可以参考下
本文实例讲述了Python使用scrapy采集时伪装成HTTP/1.1的方法。分享给大家供大家参考。具体如下：
添加下面的代码到 settings.py 文件
复制代码 代码如下:
DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.HTTPClientFactory'
保存以下代码到单独的.py文件
复制代码 代码如下:
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class PageGetter(ScrapyHTTPPageGetter):
def sendCommand(self, command, path):
self.transport.write('%s %s HTTP/1.1\r\n' % (command, path))
class HTTPClientFactory(ScrapyHTTPClientFactory):
protocol = PageGetter
class PageGetter(ScrapyHTTPPageGetter):
def sendCommand(self, command, path):
self.transport.write('%s %s HTTP/1.1\r\n' % (command, path))
class HTTPClientFactory(ScrapyHTTPClientFactory):
protocol = PageGetter
希望本文所述对大家的Python程序设计有所帮助。
相关文章
今天小编就为大家分享一篇python多线程共享变量的使用和效率方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
Python数据可视化JupyterNotebook绘图生成高清图片
这篇文章主要为大家介绍了Python数据可视化中如何利用Jupyter Notebook绘图生成高清图片，有需要的朋友可以借鉴参考下，希望能够有所帮助2021-09-09
今天小编就为大家分享一篇Python: 传递列表副本方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
这篇文章主要介绍了调试Python程序代码的几种方法总结,文中代码基于Python2.x版本,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了python获取目录下所有文件的方法,实例分析了Python中os模块下walk方法的使用技巧,需要的朋友可以参考下2015-06-06
相信大家在测试任务过程中都或多或少遇到自己处理文本文件的情况,这篇文章主要给大家介绍了关于python文件处理笔记之文本文件的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下2021-08-08
这篇文章主要介绍了Python生成词云，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-01-01
今天小编就为大家分享一篇浅谈Python的list中的选取范围，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-11-11
今天小编就为大家分享一篇关于ZeroMQ 三种模式python3实现方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
在 python 中文件监视主要有两个库,一个是 pyinotify,一个是 watchdog,本文主要为大家详细介绍一下Python中WatchDog的使用相关经验,感兴趣的小伙伴可以了解下2023-12-12
最新评论