scrapy中如何设置应用cookies的方法(3种)
本人是python3.6
总的来说，scrapy框架中设置cookie有三种方式。
第一种：setting文件中设置cookie
当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie
当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie
当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉，使用自定义cookie
所以当我使用settings的cookie的时候，又把COOKIES_ENABLED设置为True，scrapy就会把settings的cookie关闭，
而且我也没使用自定义cookie，导致整个请求根本没有cookie,导致获取页面失败。
总结：
如果使用自定义cookie就把COOKIES_ENABLED设置为True
如果使用settings的cookie就把COOKIES_ENABLED设置为False
第二种：middlewares中设置cookie
在middlewares中的downloadermiddleware中的process_request中配置cookie，配置如下：
request.cookies={
'':'',
'':'',
}
等等。里面的cookie内容要以键值对的形式存在。
第三种：在spider爬虫主文件中，重写start_request方法，在scrapy的Request函数的参数中传递cookies
# 重载start_requests方法
def start_requests(self):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0"}
# 指定cookies
cookies = {
'uuid': '66a0f5e7546b4e068497.1542881406.1.0.0',
'_lxsdk_cuid': '1673ae5bfd3c8-0ab24c91d32ccc8-143d7240-144000-1673ae5bfd4c8',
'__mta': '222746148.1542881402495.1542881402495.1542881402495.1',
'ci': '20',
'rvct': '20%2C92%2C282%2C281%2C1',
'_lx_utm': 'utm_source%3DBaidu%26utm_medium%3Dorganic',
'_lxsdk_s': '1674f401e2a-d02-c7d-438%7C%7C35'}
# 再次请求到详情页，并且声明回调函数callback，dont_filter=True 不进行域名过滤，meta给回调函数传递数据
yield Request(detailUrl, headers=headers, cookies=cookies, callback=self.detail_parse, meta={'myItem': item}, dont_filter=True)
同时还要在setting中设置：
ROBOTSTXT_OBEY=False
到此这篇关于scrapy中如何设置应用cookies的方法(3种)的文章就介绍到这了,更多相关scrapy设置cookies内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
今天小编就为大家分享一篇使用django的ORM框架按月统计近一年内的数据方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
pyinstaller打包多个py文件和去除cmd黑框的方法
今天小编就为大家分享一篇pyinstaller打包多个py文件和去除cmd黑框的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-06-06
这篇文章主要给大家介绍了关于Django后端按照日期查询的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-02-02
这篇文章主要介绍了用 python 进行微信好友信息分析的示例，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下2020-11-11
本文主要介绍了Python 获取今天任意时刻的时间戳的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧<BR>2022-06-06
下面小编就为大家分享一篇Python读csv文件去掉一列后再写入新的文件实例，具有很的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2017-12-12
这篇文章主要介绍了python录音并调用百度语音识别接口的示例，帮助大家更好的理解和利用python处理音频，感兴趣的朋友可以了解下2020-12-12
Python中的数据类型可以分为可变对象和不可变对象,了解它们之间的区别对于编写高效的Python代码至关重要,本文将详细介绍可变对象和不可变对象的概念,以及如何正确地使用它们来提高代码的性能和可读性2023-12-12
最近工作中读取文件时经常遇上比较复杂的情况,所以下面这篇文章主要给大家介绍了关于如何利用Python按顺序读取文件夹中文件的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-04-04
Python Matplotlib条形图之垂直条形图和水平条形图详解
这篇文章主要为大家详细介绍了Python Matplotlib条形图之垂直条形图和水平条形图，使用数据库，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-03-03
最新评论