如何使用Python的Requests包实现模拟登陆
前段时间喜欢用python去抓一些页面玩，但都基本上都是用get请求一些页面，再通过正则去过滤。
今天试了一下，模拟登陆个人网站。发现也比较简单。读懂本文需要对http协议和http会话有一定的理解。
注明：因为模拟登陆的是我的个人网站，所以以下代码对个人网站和账号密码做了处理。
网站分析
爬虫的必备第一步，分析目标网站。这里使用谷歌浏览器的开发者者工具分析。
通过登陆抓取，看到这样一个请求。
上方部分为请求头，下面部分为请求是传的参数。由图片可以看出，页面通过表单提交了三个参数。分别为_csrf,usermane,password。
其中csrf是为了预防跨域脚本伪造。原理很简单，就是每一次请求，服务器生成一串加密字符串。放在隐藏的input表单中。再一次请求的时候，把这个字符串一起传过去，为了验证是否为同一个用户的请求。
因此，我们的代码逻辑就有了。首先请求一次登录页面。然后分析页面，拿到csrf字符串。最后把这个字符串和账号密码一起传给服务器用来登录。
第一份代码
#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-
import requests
import re
# 头部信息
headers = {
'Host':"localhost",
'Accept-Language':"zh-CN,zh;q=0.8",
'Accept-Encoding':"gzip, deflate",
'Content-Type':"application/x-www-form-urlencoded",
'Connection':"keep-alive",
'Referer':"http://localhost/login",
'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"
}
# 登陆方法
def login(url,csrf):
data = {
"_csrf" : csrf,
"username": "xiedj",
"password": "***"
}
response = requests.post(url, data=data, headers=headers)
return response.content
# 第一次访问获取csrf值
def get_login_web(url):
page = requests.get('http://localhost/login')
reg = r'<meta name="csrf-token" content="(.+)">'
csrf = re.findall(reg,page.content)[0]
login_page = login(url,csrf)
print login_page
if __name__ == "__main__":
url = "http://localhost/login/checklogin"
get_login_web(url)
代码看起来好像没有什么问题。然而执行的时候出错了。核查了一下，错误的原因是，csrf验证失败！
再多次确认获取的csrf和请求登录的csrf字符串没问题了之后，我想到了一个问题。
如果，大家还不知道错误原因的话，这里可以暂停思考一个问题。“服务器如何知道，第一次请求获取csrf和第二次post登录请求是同一个用户？”
到这，应该都清楚了，如果要登录成功，需要解决如何让服务相信两次请求是同一个用户。这里需要用到http会话（不清楚的可以自行百度，这里简单介绍）。
http协议是一个种无状态的协议。为了使这种无状态变得有状态，因此引进了会话。简单的讲，通过session去记录这个状态。当一个用户第一次请求web服务的时候，服务器会生成一个session，用于保存这个用户的信息。同时，在返回给用户端时，把这个sessionID保存在cookies里。当用户再一次请求的时候，浏览器会把这个cookies带上。因此在服务器端就能知道多次请求是否为同一个用户。
因此我们的代码，需要在第一次请求的时候拿到这个sessionID。第二次请求的时候把这个sessionID一起传过去。而requests厉害的地方就是，一句简单requests.Session()，就能使用这个会话对象。
第二份代码
#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-
import requests
import re
# 头部信息
headers = {
'Host':"localhost",
'Accept-Language':"zh-CN,zh;q=0.8",
'Accept-Encoding':"gzip, deflate",
'Content-Type':"application/x-www-form-urlencoded",
'Connection':"keep-alive",
'Referer':"http://localhost/login",
'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"
}
# 登陆方法
def login(url,csrf,r_session):
data = {
"_csrf" : csrf,
"username": "xiedj",
"password": "***"
}
response = r_session.post(url, data=data, headers=headers)
return response.content
# 第一次访问获取csrf值
def get_login_web(url):
r_session = requests.Session()
page = r_session.get('http://localhost/login')
reg = r'<meta name="csrf-token" content="(.+)">'
csrf = re.findall(reg,page.content)[0]
login_page = login(url,csrf,r_session)
print login_page
if __name__ == "__main__":
url = "http://localhost/login/checklogin"
get_login_web(url)
成功获取登陆后的页面
由代码可以知道，requests.Session()启动会话对象后，第二次请求会自动把上一次的sessionID一起传过去。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家详细介绍了如何利用Python清理重复的文件，文中的示例代码讲解详细，对我们学习Python有一定帮助，需要的可以参考一下2022-05-05
今天给大家带来的是关于Python的相关知识,文章围绕着用Python pygame设置窗口标题和图标展开,文中有非常详细的介绍及代码示例,需要的朋友可以参考下2021-06-06
这篇文章主要介绍了Python基于pandas绘制散点图矩阵代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
python+matplotlib实现动态绘制图片实例代码（交互式绘图）
这篇文章主要介绍了python+matplotlib实现动态绘制图片实例代码（交互式绘图），小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下2018-01-01
这篇文章主要介绍了Python sorted排序方法如何实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-03-03
这篇文章主要介绍了python中的hashlib模块使用实例,hashlib是一个提供字符串加密功能的模块，包含MD5和SHA的算法,MD5和SHA是摘要算法,文中以实例代码讲解hashlib模块的基本用法,需要的朋友可以参考下2023-08-08
今天小编就为大家分享一篇python遍历小写英文字母的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
pycharm 2021.3最新激活码有效期至2100年（亲测可用）
这篇文章主要介绍了pycharm 2021.3最新激活码有效期至2100年（亲测可用）2021-02-02
在实际开发过程中,我们可能会遇到一些场景,需要对函数的执行时间进行限制,例如,当一个函数执行时间过长时,可能会导致程序卡顿、资源占用过高,因此,在某些情况下,我们希望限制函数调用的最大时所以本文给大家介绍了Python处理函数调用超时的四种方法2025-04-04
Python实现基本Socket服务端与客户端通信的完整代码
这篇文章主要介绍了Python实现基本Socket服务端与客户端通信,分步详解与完整代码都有，按需所求即可，对Python Socket服务端与客户端通信相关知识感兴趣的朋友一起看看吧2023-06-06
最新评论