python 爬取学信网登录页面的例子

 更新时间:2019年08月13日 15:04:12   作者:宇风-飞扬   我要评论
今天小编就为大家分享一篇python 爬取学信网登录页面的例子,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

我们以学信网为例爬取个人信息

**如果看不清楚

按照以下步骤:**

1.火狐为例 打开需要登录的网页–> F12 开发者模式 (鼠标右击,点击检查元素)–点击网络 –>需要登录的页面登录下–> 点击网络找到 一个POST提交的链接点击–>找到post(注意该post中信息就是我们提交时需要构造的表单信息)

import requests
from bs4 import BeautifulSoup
from http import cookies
import urllib
import http.cookiejar

headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',
  'Referer':'https://account.chsi.com.cn/passport/login?service=https://my.chsi.com.cn/archive/j_spring_cas_security_check',
}

session = requests.Session()
session.headers.update(headers)
username = 'xxx'
password = 'xxx'
url = 'https://account.chsi.com.cn/passport/login?service=https://my.chsi.com.cn/archive/j_spring_cas_security_check'
def login(username,password,lt,_eventId='submit'):   #模拟登入函数
  #构造表单数据
  data = { #需要传去的数据
      '_eventId':_eventId,
      'lt':lt,
      'password':password, 
      'submit':u'登录',
      'username':username, 
  }
  html = session.post(url,data=data,headers=headers)

def get_lt(url):    #解析登入界面_eventId
  html = session.get(url)
  #获取 lt
  soup = BeautifulSoup(html.text,'lxml',from_encoding="utf-8")
  lt=soup.find('input',type="hidden")['value']
  return lt

lt = get_lt(url)#获取登录form表单信息 以学信网为例
login(username,password,lt)
login_url = 'https://my.chsi.com.cn/archive/gdjy/xj/show.action'
per_html = session.get(login_url)
soup = BeautifulSoup(per_html.text,'lxml',from_encoding="utf-8")
print(soup)
for tag in soup.find_all('table',class_='mb-table'):
  print(tag)
  for tag1 in tag.find_all('td'):
    title= tag1.get_text(); 
    print(title)

以上这篇python 爬取学信网登录页面的例子就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python告诉你木马程序的键盘记录原理

    Python告诉你木马程序的键盘记录原理

    今天小编就为大家分享一篇关于Python告诉你木马程序的键盘记录原理,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-02-02
  • python定时复制远程文件夹中所有文件

    python定时复制远程文件夹中所有文件

    这篇文章主要为大家详细介绍了python定时复制远程文件夹中所有文件,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-04-04
  • Django之使用内置函数和celery发邮件的方法示例

    Django之使用内置函数和celery发邮件的方法示例

    这篇文章主要介绍了Django之使用内置函数和celery发邮件的方法示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-09-09
  • Python创建系统目录的方法

    Python创建系统目录的方法

    这篇文章主要介绍了Python创建系统目录的方法,实例分析了Python操作目录的技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-03-03
  • 详解python的ORM中Pony用法

    详解python的ORM中Pony用法

    本篇文章给大家详细介绍了python的ORM中Pony用法以及详细代码分享,对此有需要的朋友测试参考下。
    2018-02-02
  • Python字符串大小写转换拼接删除空白

    Python字符串大小写转换拼接删除空白

    这篇文章主要介绍了Python字符串大小写转换拼接删除空白的方法,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-09-09
  • Sanic框架流式传输操作示例

    Sanic框架流式传输操作示例

    这篇文章主要介绍了Sanic框架流式传输操作,结合实例形式分析了Sanic通过流请求与响应传输操作相关实现技巧与注意事项,需要的朋友可以参考下
    2018-07-07
  • python实现人民币大写转换

    python实现人民币大写转换

    这篇文章主要为大家详细介绍了python实现人民币大写转换的方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-06-06
  • matplotlib 纵坐标轴显示数据值的实例

    matplotlib 纵坐标轴显示数据值的实例

    今天小编就为大家分享一篇matplotlib 纵坐标轴显示数据值的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • Python从list类型、range()序列简单认识类(class)【可迭代】

    Python从list类型、range()序列简单认识类(class)【可迭代】

    这篇文章主要介绍了Python从list类型、range()序列简单认识类(class),结合实例形式分析了list、range及自定义类等可迭代数据类型相关使用技巧,需要的朋友可以参考下
    2019-05-05

最新评论