python爬虫中get和post方法介绍以及cookie作用
更新时间：2018年02月08日 10:06:15 作者：fengzhizi76506
本篇文章通过爬取163邮箱实例介绍了python爬虫中get和post方法介绍以及cookie作用，对此有兴趣的朋友学习下。
首先确定你要爬取的目标网站的表单提交方式，可以通过开发者工具看到。这里推荐使用chrome。
这里我用163邮箱为例
打开工具后再Network中，在Name选中想要了解的网站，右侧headers里的request method就是提交方式。status如果是200表示成功访问下面的有头信息，cookie是你登录之后产生的存储会话（session）信息的。第一次访问该网页需要提供用户名和密码，之后只需要在headers里提供cookie就可以登陆进去。
引入requests库，会提供get和post的方法。
代码示例：
import requests
import ssl
user_agent="Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0"
accept='text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
accept_language='zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3'
upgrade='1'
headers={
'User-Agent':user_agent,
'Accept':accept,
'Accept-Language':accept_language,
'Cookie':'....'#这里填入你登陆后产生的cookie
}
r = requests.get("http://mail.163.com/js6/main.jsp?sid=OAwUtGgglzEJoANLHPggrsKKAhsyheAT&df=mail163_letter#module=welcome.WelcomeModule%7C%7B%7D",headers=headers,verify=False)
fp = open("/temp/csdn.txt","w",encoding='utf-8')
fp.write(str(r.content,'utf-8'))
fp.close()
这里我引入了ssl库，因为我第一次访问的网页证书过期。如果我们使用爬虫进入这样的网站时，会报错：SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)
在requests的get和post方法中，有一个参数为verify，把他设为False后会禁掉证书的要求
相关文章
这篇文章主要介绍了Python如何去除字符串中不需要的字符问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-08-08
这篇文章主要介绍了用Python批量把文件复制到另一个文件夹的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-08-08
本文主要介绍了使用Python的音乐播放器GUI的实现，可以让您快速轻松地管理和收听所有音乐文件，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-12-12
这篇文章主要介绍了Python实现时钟显示,需要的朋友可以参考下2018-04-04
这篇文章主要为大家介绍了NumPy之矩阵向量线性代数等操作示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-04-04
这篇文章主要介绍了Python字符串对象实现原理详解，在Python世界中将对象分为两种：一种是定长对象，比如整数，整数对象定义的时候就能确定它所占用的内存空间大小，另一种是变长对象，在对象定义时并不知道是多少,需要的朋友可以参考下2019-07-07
如何使用python wasmtime调用rust生成的wasm库
这篇文章主要介绍了如何使用python wasmtime调用rust生成的wasm库,使用python wasmtime来访问rust库的便捷方法，步骤极其简练，可以在生产环境中使用，需要的朋友可以参考下2023-01-01
下面小编就为大家分享一篇python 输出上个月的月末日期实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
下面小编就为大家整理了一篇python和flask中返回JSON数据的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-03-03
static用法：是一个修饰符，用于修饰成员(成员变量，成员函数).当成员被静态修饰后，就多了一个调用方式，除了可以被对象调用外，还可以直接被类名调用，格式——类名.静态成员。2018-01-01
最新评论