脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python 获取网页数据

Python获取网页数据详解流程

 更新时间：2021年10月20日 15:34:18   作者：Mim.  
读万卷书不如行万里路，只学书上的理论是远远不够的，只有在实战中才能获得能力的提升，本篇文章手把手带你用Python来获取网页的数据，主要应用了Requests库,大家可以在过程中查缺补漏，提升水平

Requests 库是 Python 中发起 HTTP 请求的库，使用非常方便简单。
发送 GET 请求
当我们用浏览器打开东旭蓝天股票首页时，发送的最原始的请求就是 GET 请求，并传入url参数.

import requests
url='http://push2his.eastmoney.com/api/qt/stock/fflow/daykline/get'

用Python requests库的get函数得到数据并设置requests的请求头.

header={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}

得到network的参数.

data={
    'cb': 'jQuery1123026726575651052076_1633873068863',
    'lmt': '0',
    'klt':' 101',
    'fields1': 'f1,f2,f3,f7',
    'fields2': 'f51,f52,f53,f54,f55,f56,f57,f58,f59,f60,f61,f62,f63,f64,f65',
    'ut': 'b2884a393a59ad64002292a3e90d46a5',
    'secid': '0.000040',
    '_': '1633873068864'
}

我们使用 content 属性来获取网站返回的数据，并命名为sd.

sd=requests.get(url=url,headers=header,data=data).content

json库可以自字符串或文件中解析JSON。 该库解析JSON后将其转为Python字典或者列表。re模块是python独有的匹配字符串的模块，该模块中提供的很多功能是基于正则表达式实现的，而正则表达式是对字符串进行模糊匹配，提取自己需要的字符串部分.

import json
import re
text=str(sd,'utf-8')
res=re.findall(r'[(](.*?)[)]',text)
re=json.loads(res[0])
p=re['data']['klines']

将杂乱无章的数据排版到excel中，代码如下：

all_list=re['data']['klines']
data_list=[]
latest_price_list=[]
price_limit_list=[]
net_amount_list1=[]
net_proportion_list1=[]
net_amount_list2=[]
net_proportion_list2=[]
net_amount_list3=[]
net_proportion_list3=[]
net_amount_list4=[]
net_proportion_list4=[]
net_amount_list5=[]
net_proportion_list5=[]
for i in range(len(all_list)):
        data=all_list[i].split(',')[0]
        data_list.append(data)
        ##收盘价
        latest_price=all_list[i].split(',')[11]
        latest_price_list.append(latest_price)
        ##涨跌幅
        price_limit=all_list[i].split(',')[12]
        price_limit_list.append(price_limit)
        ##主力净流入
        ####净额
        net_amount1=all_list[i].split(',')[1]
        net_amount_list1.append(net_amount1)
        ##占比
        net_proportion1=all_list[i].split(',')[6]
        net_proportion_list1.append(net_proportion1)
        ##超大单净流入
        ####净额
        net_amount2=all_list[i].split(',')[5]
        net_amount_list2.append(net_amount2)
        ##占比
        net_proportion2=all_list[i].split(',')[10]
        net_proportion_list2.append(net_proportion2)
        ##大单净流入
        ####净额
        net_amount3=all_list[i].split(',')[4]
        net_amount_list3.append(net_amount3)
        ##占比
        net_proportion3=all_list[i].split(',')[9]
        net_proportion_list3.append(net_proportion3)
        ##中单净流入
        ####净额
        net_amount4=all_list[i].split(',')[3]
        net_amount_list4.append(net_amount4)
        ##占比
        net_proportion4=all_list[i].split(',')[8]
        net_proportion_list4.append(net_proportion4)
        ##小单净流入
        ####净额
        net_amount5=all_list[i].split(',')[2]
        net_amount_list5.append(net_amount5)
        ##占比
        net_proportion5=all_list[i].split(',')[7]
        net_proportion_list5.append(net_proportion5)
#print(data_list)
import pandas as pd
df=pd.DataFrame()
df['日期'] = data_list
df['收盘价'] = latest_price_list
df['涨跌幅(%)'] = price_limit_list
df['主力净流入-净额'] = net_amount_list1
df['主力净流入-净占比(%)'] = net_proportion_list1
df['超大单净流入-净额'] = net_amount_list2
df['超大单净流入-净占比(%)'] = net_proportion_list2
df['大单净流入-净额'] = net_amount_list3
df['大单净流入-净占比(%)'] = net_proportion_list3
df['中单净流入-净额'] = net_amount_list4
df['中单净流入-净占比(%)'] = net_proportion_list4
df['小单净流入-净额'] = net_amount_list5
df['小单净流入-净占比(%)'] = net_proportion_list5
df# 写入excel
df.to_excel('东旭蓝天资金流向一览表.xlsx')

将爬取出的东旭蓝天资金流向数据存到excel表中，得到表格的部分截图如下：

到此这篇关于Python获取网页数据详解流程的文章就介绍到这了,更多相关Python 获取网页数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • Tensorflow之梯度裁剪的实现示例

    Tensorflow之梯度裁剪的实现示例

    这篇文章主要介绍了Tensorflow之梯度裁剪的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-03-03
  • Django框架HttpRequest对象用法实例分析

    Django框架HttpRequest对象用法实例分析

    这篇文章主要介绍了Django框架HttpRequest对象用法,结合实例形式分析了Django框架HttpRequest对象发送请求数据的相关使用技巧,需要的朋友可以参考下
    2019-11-11
  • 利用python将图片版PDF转文字版PDF

    利用python将图片版PDF转文字版PDF

    今天为大家介绍一下如何使用利用python将图片版PDF转文字版PDF，这里我们需要用到python3.6,pypdf2,ghostscript,PythonMagick,百度文字识别服务和pdfkit
    2019-05-05
  • python使用xauth方式登录饭否网然后发消息

    python使用xauth方式登录饭否网然后发消息

    这篇文章主要介绍了python使用xauth方式登录饭否网然后发消息示例,需要的朋友可以参考下
    2014-04-04
  • Python操作MySQL数据库的两种方式实例分析【pymysql和pandas】

    Python操作MySQL数据库的两种方式实例分析【pymysql和pandas】

    这篇文章主要介绍了Python操作MySQL数据库的两种方式,结合实例形式分析了Python使用pymysql和pandas模块进行mysql数据库的连接、增删改查等操作相关实现技巧,需要的朋友可以参考下
    2019-03-03
  • Django Form and ModelForm的区别与使用

    Django Form and ModelForm的区别与使用

    这篇文章主要介绍了Django Form and ModelForm的区别与使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-12-12
  • Python自动化办公实现数据自动填充需求

    Python自动化办公实现数据自动填充需求

    这篇文章主要为大家介绍了Python自动化办公实现数据自动填充需求，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2023-06-06
  • 抵御代码复杂性使python函数更加Pythonic技巧示例详解

    抵御代码复杂性使python函数更加Pythonic技巧示例详解

    这篇文章主要介绍了抵御代码复杂性使python函数更加Pythonic技巧示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2024-01-01
  • 详解python破解zip文件密码的方法

    详解python破解zip文件密码的方法

    这篇文章主要介绍了python破解zip文件密码的方法，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-01-01
  • 如何利用pandas将Excel转为html格式

    如何利用pandas将Excel转为html格式

    工作中经常会遇到Excel转为html格式这种需求,下面这篇文章主要给大家介绍了关于如何利用pandas将Excel转为html格式的相关资料,主要利用的是pd.to_html,文中通过示例代码介绍的非常详细,需要的朋友可以参考下
    2021-08-08

最新评论