python cookie反爬处理的实现
更新时间：2020年11月01日 14:11:42 作者：corei5tj
这篇文章主要介绍了python cookie反爬处理的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Cookies的处理
作用
保存客户端的相关状态
在爬虫中如果遇到了cookie的反爬如何处理?
手动处理
在抓包工具中捕获cookie,将其封装在headers中
应用场景:cookie没有有效时长且不是动态变化
自动处理
使用session机制
使用场景:动态变化的cookie
session对象:该对象和requests模块用法几乎一致.如果在请求的过程中产生了cookie,如果该请求使用session发起的,则cookie会被自动存储到session中.
案例
爬取雪球网中的新闻资讯数据:https://xueqiu.com/
#获取一个session对象
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
session = requests.Session()
main_url = 'https://xueqiu.com' #推测对该url发起请求会产生cookie
session.get(main_url,headers=headers)
url = 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json'
params = {
'since_id': '-1',
'max_id': '20346152',
'count': '15',
'category': '-1',
}
page_text = session.get(url,headers=headers,params=params).json()
page_text
到此这篇关于python cookie反爬处理的实现的文章就介绍到这了,更多相关python cookie反爬内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
TensorFlow用expand_dim()来增加维度的方法
今天小编就为大家分享一篇TensorFlow用expand_dim()来增加维度的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
今天小编就为大家分享一篇Django中间件实现拦截器的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
这篇文章主要为大家介绍了加速Python代码执行的利器使用实例探究,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
Python中的extend函数是用于将一个列表的元素添加到另一个列表中,它会将第一个列表中的元素逐个添加到第二个列表的末尾,这篇文章主要给大家介绍了关于python中extend函数举例详解以及对比的相关资料,需要的朋友可以参考下2024-03-03
assert断言是一种用于检查代码是否按预期工作的方法,在pytest中,assert断言可以用于测试代码的正确性,以确保代码在运行时按照预期工作,本文就来介绍一下如何使用,感兴趣的可以了解下2023-12-12
这篇文章主要为大家详细介绍了selenium+PhantomJS爬取豆瓣读书，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-08-08
这篇文章主要介绍了Python基础之pandas数据合并,文中有非常详细的代码示例,对正在学习python基础的小伙伴们有非常好的帮助,需要的朋友可以参考下2021-04-04
这篇文章主要介绍了Python求导数的方法,涉及Python数学运算的相关技巧,需要的朋友可以参考下2015-05-05
pyecharts是一个用于生成echarts图表的类库。echarts是百度开源的一个数据可视化库，用echarts生成的图可视化效果非常棒。使用pyechart库可以在python中生成echarts数据图。本文将详细介绍一下Pyecharts库的使用，需要的可以参考一下2022-02-02
Python中使用tarfile压缩、解压tar归档文件示例
这篇文章主要介绍了Python中使用tarfile压缩、解压tar归档文件示例,本文直接给出解压和压缩代码示例,需要的朋友可以参考下2015-04-04
最新评论