Python爬取股票交易数据并可视化展示

 更新时间:2021年12月01日 14:17:26   作者:松鼠爱吃饼干  
抛开炒股技术不说, 那么多股票数据是不是非常难找,找到之后是不是看着密密麻麻的数据是不是头都大了?今天带大家爬取雪球平台的股票数据并将其可视化

开发环境

解释器版本: python 3.8

代码编辑器: pycharm 2021.2

第三方模块

requests: pip install requests

csv

爬虫案例的步骤

1.确定url地址(链接地址)

2.发送网络请求

3.数据解析(筛选数据)

4.数据的保存(数据库(mysql\mongodb\redis), 本地文件)

爬虫程序全部代码

分析网页

打开开发者工具,搜索关键字,找到正确url

导入模块

import requests     # 发送网络请求
import csv

请求数据

url = f'https://xueqiu.com/service/v5/stock/screener/quote/list?page=1&size=30&order=desc&order_by=amount&exchange=CN&market=CN&type=sha&_=1637908787379'
# 伪装
headers = {
    # 浏览器伪装
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'
}
response = requests.get(url, headers=headers)
json_data = response.json()

解析数据

data_list = json_data['data']['list']
for data in data_list:
    data1 = data['symbol']
    data2 = data['name']
    data3 = data['current']
    data4 = data['chg']
    data5 = data['percent']
    data6 = data['current_year_percent']
    data7 = data['volume']
    data8 = data['amount']
    data9 = data['turnover_rate']
    data10 = data['pe_ttm']
    data11 = data['dividend_yield']
    data12 = data['market_capital']
    print(data1, data2, data3, data4, data5, data6, data7, data8, data9, data10, data11, data12)
    data_dict = {
        '股票代码': data1,
        '股票名称': data2,
        '当前价': data3,
        '涨跌额': data4,
        '涨跌幅': data5,
        '年初至今': data6,
        '成交量': data7,
        '成交额': data8,
        '换手率': data9,
        '市盈率(TTM)': data10,
        '股息率': data11,
        '市值': data12,
    }
    csv_write.writerow(data_dict)

翻页

对比1、2、3页数据url,找到规律

for page in range(1, 56):
    url = f'https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=amount&exchange=CN&market=CN&type=sha&_=1637908787379'

保存数据

file = open('data2.csv', mode='a', encoding='utf-8', newline='')
csv_write = csv.DictWriter(file, fieldnames=['股票代码','股票名称','当前价','涨跌额','涨跌幅','年初至今','成交量','成交额','换手率','市盈率(TTM)','股息率','市值'])
csv_write.writeheader()
file.close()

实现效果

数据可视化全部代码

导入数据

import pandas as pd
from pyecharts import options as opts
from pyecharts.charts import Bar

读取数据

data_df = pd.read_csv('data2.csv')
df = data_df.dropna()
df1 = df[['股票名称', '成交量']]
df2 = df1.iloc[:20]
print(df2['股票名称'].values)
print(df2['成交量'].values)

可视化图表

c = (
    Bar()
        .add_xaxis(list(df2['股票名称']))
        .add_yaxis("股票成交量情况", list(df2['成交量']))
        .set_global_opts(
        title_opts=opts.TitleOpts(title="成交量图表 - Volume chart"),
        datazoom_opts=opts.DataZoomOpts(),
    )
        .render("data.html")
)

print('数据可视化结果完成,请在当前目录下查找打开 data.html 文件!')

效果展示 

以上就是Python爬取股票交易数据并数据可视化的详细内容,更多关于Python股票数据爬取的资料请关注脚本之家其它相关文章!

相关文章

  • python list 切片倒着取的实现示例

    python list 切片倒着取的实现示例

    切片操作非常灵活,可以按照需要获取列表中的任意一段元素,本文主要介绍了python list 切片倒着取的实现示例,具有一定的参考价值,感兴趣的可以了解一下
    2024-01-01
  • 如何使用matplotlib让你的数据更加生动

    如何使用matplotlib让你的数据更加生动

    数据可视化用于以更直接的表示方式显示数据,并且更易于理解,下面这篇文章主要给大家介绍了关于如何使用matplotlib让你的数据更加生动的相关资料,需要的朋友可以参考下
    2021-11-11
  • 解决python中无法自动补全代码的问题

    解决python中无法自动补全代码的问题

    今天小编就为大家分享一篇解决python中无法自动补全代码的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • python 列表元素左右循环移动 的多种解决方案

    python 列表元素左右循环移动 的多种解决方案

    这篇文章主要介绍了python 列表元素左右循环移动 的多种解决方案,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-03-03
  • 使用Python的requests库进行网页数据抓取的详细教程

    使用Python的requests库进行网页数据抓取的详细教程

    网络爬虫是一种自动化程序,用于从互联网上抓取数据,无论是用于数据分析、市场研究、学术研究,还是搜索引擎的网页索引,爬虫技术都在现代互联网应用中发挥着重要作用,本文将通过 requests 库 来讲解如何进行基本的网页数据抓取,需要的朋友可以参考下
    2025-03-03
  • Python中用max()方法求最大值的介绍

    Python中用max()方法求最大值的介绍

    这篇文章主要介绍了Python中用max()方法求最大值的介绍,是Python入门中的基础知识,需要的朋友可以参考下
    2015-05-05
  • Python基于OpenCV实现视频的人脸检测

    Python基于OpenCV实现视频的人脸检测

    这篇文章主要为大家详细介绍了Python基于OpenCV实现视频的人脸检测,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-01-01
  • Python图像处理之目标物体轮廓提取的实现方法

    Python图像处理之目标物体轮廓提取的实现方法

    目标物体的轮廓实质是指一系列像素点构成,这些点构成了一个有序的点集,这篇文章主要给大家介绍了关于Python图像处理之目标物体轮廓提取的实现方法,需要的朋友可以参考下
    2021-08-08
  • matplotlib共享坐标轴的实现(X或Y坐标轴)

    matplotlib共享坐标轴的实现(X或Y坐标轴)

    在作图的过程中,我们经常会遇到子图共用坐标轴的情况,或是共用横轴标轴,也可能是纵坐标轴。本文就介绍了matplotlib共享坐标轴,感兴趣的可以了解一下
    2021-05-05
  • python Django框架快速入门教程(后台管理)

    python Django框架快速入门教程(后台管理)

    Django 是一个开放源代码的 Web 应用框架,由 Python 写成,今天通过本文给大家介绍python Django框架快速入门教程,适用后台管理,感兴趣的朋友跟随小编一起看看吧
    2021-07-07

最新评论