python爬虫用request库处理cookie的实例讲解

 更新时间:2021年02月20日 15:53:59   作者:宋雪维  
在本篇内容里小编给大家整理的是一篇关于python爬虫用request库处理cookie的实例讲解内容,有需要的朋友们可以学习参考下。

python爬虫中使用urli库可以使用opener"发送多个请求,这些请求是能共享处理cookie的,小编之前也提过python爬虫中使用request库会比urllib库更加⽅便,使用使用requests也能达到共享cookie的目的,即使用request库get方法和使用requests库提供的session对象都可以处理。

方法一:使用request库get方法

resp = requests.get('http://www.baidu.com/') 
print(resp.cookies) 
print(resp.cookies.get_dict())

方法二:使用requests库提供的 session对象

import requests
url = "http://www.renren.com/PLogin.do" 
data = {"email":"970138074@qq.com",'password':"pythonspider"} 
headers = { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36" }
#登录
session = requests.session() session.post(url,data=data,headers=headers)
#访问
resp = session.get('http://www.renren.com/256450404/profile')
print(resp.text) ```

知识点扩展:

我们知道了requests中的session对象能够在请求之间保持cookie,它极大地方便了我们去使用cookie。当我们想设置方法级别中的请求时,可以如下面示例一样操作。

import requests
s = requests.session()
# 第一步:发送一个请求,用于设置请求中的cookies
cookies = dict(cookies_are='cookie1')
# tips: http://httpbin.org能够用于测试http请求和响应
r1 = s.get(url='http://httpbin.org/cookies', cookies=cookies)
print(r1.text)
# 第二步:发送一个请求,用于再次设置请求中的cookies
cookies = dict(cookies_are='cookie2')
r2 = s.get(url='http://httpbin.org/cookies', cookies=cookies)
print(r2.text)

运行后

# r1.text
{
 "cookies": {
 "cookies_are": "cookie1"
 }
}
# t2.text
{
 "cookies": {
 "cookies_are": "cookie2"
 }
}

到此这篇关于python爬虫用request库处理cookie的实例讲解的文章就介绍到这了,更多相关python爬虫如何使用request库处理cookie内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Pandas 中的join函数应用实现删除多余的空行

    Pandas 中的join函数应用实现删除多余的空行

    这篇文章主要介绍了Pandas 中的join函数应用实现删除多余的空行,str.join也就是sequence要连接的元素序列,下面我们来看看他的作用实现删除多余的空行,需要的小伙伴可以参考一下
    2022-02-02
  • 解决Keyerror ''''acc'''' KeyError: ''''val_acc''''问题

    解决Keyerror ''''acc'''' KeyError: ''''val_acc''''问题

    这篇文章主要介绍了解决Keyerror 'acc' KeyError: 'val_acc'问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • Python djanjo之csrf防跨站攻击实验过程

    Python djanjo之csrf防跨站攻击实验过程

    csrf攻击,即cross site request forgery跨站(域名)请求伪造,这里的forgery就是伪造的意思。这篇文章主要给大家介绍了关于Python djanjo之csrf防跨站攻击的相关资料,需要的朋友可以参考下
    2021-05-05
  • 通过Python把学姐照片做成拼图游戏

    通过Python把学姐照片做成拼图游戏

    马上就到毕业季了,你心中的那个学姐,你真的放下了吗?本文将用pygame为你的学姐,定制开发一个拼图游戏,感兴趣的快跟随小编一起学习一下
    2022-02-02
  • python set集合使用方法解析

    python set集合使用方法解析

    这篇文章主要介绍了python set集合使用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-11-11
  • Python SQLAlchemy插入日期时间时区详解

    Python SQLAlchemy插入日期时间时区详解

    SQLAlchemy是一个功能强大且流行的 Python 库,它提供了一种灵活有效的与数据库交互的方式,在本文中,我们将了解SQLAlchemy如何更新日期、时间和时区并将其插入数据库,感兴趣的可以了解下
    2023-09-09
  • 利用Python绘制虎年烟花秀

    利用Python绘制虎年烟花秀

    2022虎年新年即将来临,小编为大家带来了一个利用Python编写的虎年烟花特效,文中的示例代码简洁易懂,感兴趣的同学可以动手试一试
    2022-01-01
  • python re模块常见用法例举

    python re模块常见用法例举

    在本篇文章里小编给大家整理的是一篇关于python re模块常见用法例举内容,有兴趣的朋友们可以学习下。
    2021-03-03
  • Python中三元运算符的简洁性及多用途实例探究

    Python中三元运算符的简洁性及多用途实例探究

    这篇文章主要为大家介绍了Python中三元运算符的简洁性及多用途实例探究,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2024-01-01
  • python实现飞机大战小游戏

    python实现飞机大战小游戏

    这篇文章主要为大家详细介绍了python实现飞机大战游戏,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-11-11

最新评论