python爬虫用request库处理cookie的实例讲解

 更新时间:2021年02月20日 15:53:59   作者:宋雪维  
在本篇内容里小编给大家整理的是一篇关于python爬虫用request库处理cookie的实例讲解内容,有需要的朋友们可以学习参考下。

python爬虫中使用urli库可以使用opener"发送多个请求,这些请求是能共享处理cookie的,小编之前也提过python爬虫中使用request库会比urllib库更加⽅便,使用使用requests也能达到共享cookie的目的,即使用request库get方法和使用requests库提供的session对象都可以处理。

方法一:使用request库get方法

resp = requests.get('http://www.baidu.com/') 
print(resp.cookies) 
print(resp.cookies.get_dict())

方法二:使用requests库提供的 session对象

import requests
url = "http://www.renren.com/PLogin.do" 
data = {"email":"970138074@qq.com",'password':"pythonspider"} 
headers = { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36" }
#登录
session = requests.session() session.post(url,data=data,headers=headers)
#访问
resp = session.get('http://www.renren.com/256450404/profile')
print(resp.text) ```

知识点扩展:

我们知道了requests中的session对象能够在请求之间保持cookie,它极大地方便了我们去使用cookie。当我们想设置方法级别中的请求时,可以如下面示例一样操作。

import requests
s = requests.session()
# 第一步:发送一个请求,用于设置请求中的cookies
cookies = dict(cookies_are='cookie1')
# tips: http://httpbin.org能够用于测试http请求和响应
r1 = s.get(url='http://httpbin.org/cookies', cookies=cookies)
print(r1.text)
# 第二步:发送一个请求,用于再次设置请求中的cookies
cookies = dict(cookies_are='cookie2')
r2 = s.get(url='http://httpbin.org/cookies', cookies=cookies)
print(r2.text)

运行后

# r1.text
{
 "cookies": {
 "cookies_are": "cookie1"
 }
}
# t2.text
{
 "cookies": {
 "cookies_are": "cookie2"
 }
}

到此这篇关于python爬虫用request库处理cookie的实例讲解的文章就介绍到这了,更多相关python爬虫如何使用request库处理cookie内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • python 实现敏感词过滤的方法

    python 实现敏感词过滤的方法

    今天小编就为大家分享一篇python 实现敏感词过滤的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • Python help()函数用法详解

    Python help()函数用法详解

    这篇文章主要介绍了Python help()函数的作用,并举例说明它的详细用法,需要的朋友可以参考下
    2014-03-03
  • Pandas数据操作分析基本常用的15个代码片段

    Pandas数据操作分析基本常用的15个代码片段

    这篇文章主要介绍了Pandas数据操作分析基本常用的15个代码片段,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-09-09
  • Python 中包/模块的 `import` 操作代码

    Python 中包/模块的 `import` 操作代码

    这篇文章主要介绍了Python 中包/模块的 `import` 操作代码,非常不错,具有一定的参考借鉴价值 ,需要的朋友可以参考下
    2019-04-04
  • Python3+Appium安装及Appium模拟微信登录方法详解

    Python3+Appium安装及Appium模拟微信登录方法详解

    这篇文章主要介绍了Python3+Appium安装及使用方法详解,需要的朋友可以参考下
    2021-02-02
  • PyTorch的Debug指南

    PyTorch的Debug指南

    这篇文章主要介绍了PyTorch的Debug的相关资料,帮助大家更好的理解和学习使用PyTorch,感兴趣的朋友可以了解下
    2021-05-05
  • Django 删除upload_to文件的步骤

    Django 删除upload_to文件的步骤

    这篇文章主要介绍了Django 删除upload_to文件的步骤,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-03-03
  • Python+KgCaptcha实现验证码的开发详解

    Python+KgCaptcha实现验证码的开发详解

    验证码通常是为了区分用户是人还是计算机,也可以防止解开密码等恶意行为,而客户端上多数会用在关键操作上。现在验证码的种类样式也特别多,本文主要介绍了如何用Python和KgCaptcha做出验证码功能,需要的可以参考一下
    2023-04-04
  • 详解Python做一个名片管理系统

    详解Python做一个名片管理系统

    这篇文章主要介绍了Python如何做一个名片管理系统,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-03-03
  • python3 实现除法结果为整数

    python3 实现除法结果为整数

    这篇文章主要介绍了python3 实现除法结果为整数,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-03-03

最新评论