Python采集天天基金数据掌握最新基金动向

 更新时间:2022年01月25日 15:29:57   作者:松鼠爱吃饼干  
这篇文章主要介绍了Python采集天天基金数据掌握最新基金动向,本次案例实现流程为发送请求、获取数据、解析数据、多页爬取、保存数据,接下来来看看具体的操作过程吧

案例实现流程

思路分析:

  • 需要什么数据?需要的数据在哪里?

代码实现:

  • 发送请求
  • 获取数据
  • 解析数据
  • 多页爬取
  • 保存数据

知识点:

  • requests发送请求
  • 开发者工具的使用
  • json类型数据解析
  • 正则表达式的使用

开发环境:

  • 版 本:python 3.8
  • 编辑器:pycharm 2021.2

本次目标:

一、分析网站

第一步:打开开发者工具,按F12,或者右键点击检查
第二步:刷新网站,点击搜索工具,在搜索框内输入基金代码,点击搜索

第三步:找到数据所在的真实url

二、开始代码

导入模块:

import requests    
import re
import csv

发送请求:

url = f'http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=6yzf&st=desc&sd=2020-12-16&ed=2021-12-16&qdii=&tabSubtype=,,,,,&pi=1&pn=50&dx=1'
headers = {
    'Cookie': 'HAList=a-sz-300059-%u4E1C%u65B9%u8D22%u5BCC; em_hq_fls=js; qgqp_b_id=7b7cfe791fce1724e930884be192c85e; _adsame_fullscreen_16928=1; st_si=59966688853664; st_asi=delete; st_pvi=79368259778985; st_sp=2021-12-07%2014%3A33%3A35; st_inirUrl=https%3A%2F%2Fwww.baidu.com%2Flink; st_sn=3; st_psi=20211216201351423-112200312936-0028256540; ASP.NET_SessionId=miyivgzxegpjaya5waosifrb',
    'Host': 'fund.eastmoney.com',
    'Referer': 'http://fund.eastmoney.com/data/fundranking.html',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36',
}
response = requests.get(url=url, headers=headers)

获取数据:

data = response.text

解析数据 筛选数据:

data_str = re.findall('\[(.*?)\]', data)[0]

转变数据类型:

tuple_data = eval(data_str)
for td in tuple_data:
    # 把td 变成列表
    td_list = td.split(',')

翻页:

分析不同页数url变化规律

for page in range(1, 193):
    print(f'-------------------------正在爬取第{page}页内容-----------------------')
    url = f'http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=6yzf&st=desc&sd=2020-12-16&ed=2021-12-16&qdii=&tabSubtype=,,,,,&pi={page}&pn=50&dx=1'

保存数据:

with open('基金.csv', mode='a', encoding='utf-8', newline='') as f:
    csv_write = csv.writer(f)
    csv_write.writerow(td_list)
print(td)

三、运行代码,得到数据

到此这篇关于Python采集天天基金数据掌握最新基金动向的文章就介绍到这了,更多相关Python采集天天基金数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python基于GDAL镶嵌拼接遥感影像

    Python基于GDAL镶嵌拼接遥感影像

    这篇文章主要介绍了Python基于GDAL镶嵌拼接遥感影像, 这里有一点需要注意的就是,用这个方法进行镶嵌拼接操作时,影像有一条明显的拼接线,不知道是不是我数据的问题,你们可以自己尝试一下,只要修改主函数中的路径即可,需要的朋友可以参考下
    2023-10-10
  • python自动化实现的简单使用

    python自动化实现的简单使用

    本文主要介绍了python自动化实现的简单使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06
  • python django 实现验证码的功能实例代码

    python django 实现验证码的功能实例代码

    本篇文章主要介绍了python django 实现验证码的功能实例代码,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-05-05
  • pandas中concat函数实现横向连接

    pandas中concat函数实现横向连接

    在pandas中,concat函数可用于合并不同的Series和DataFrame对象,本文主要介绍了pandas中concat函数实现横向连接,具有一定的参考价值,感兴趣的可以了解一下
    2024-04-04
  • Python自动化测试之异常处理机制实例详解

    Python自动化测试之异常处理机制实例详解

    为了保持自动化测试用例的健壮性,异常的捕获及处理,日志的记录对掌握自动化测试执行情况尤为重要,下面这篇文章主要给大家介绍了关于Python自动化测试之异常处理机制的相关资料,需要的朋友可以参考下
    2022-06-06
  • 深度辨析Python的eval()与exec()的方法

    深度辨析Python的eval()与exec()的方法

    这篇文章主要介绍了深度辨析Python的eval()与exec()的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-03-03
  • DRF QuerySet Instance数据库操作功能概述

    DRF QuerySet Instance数据库操作功能概述

    这篇文章主要为大家介绍了DRF QuerySet Instance数据库处理的功能概述,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-10-10
  • Python+Selenium实现短视频热点爬取

    Python+Selenium实现短视频热点爬取

    随着短视频的大火,不仅可以给人们带来娱乐,还有热点新闻时事以及各种知识,刷短视频也逐渐成为了日常生活的一部分。本文将通过Pyhton依托Selenium来爬取短视频热点,需要的可以参考一下
    2022-04-04
  • Python使用统计函数绘制简单图形实例代码

    Python使用统计函数绘制简单图形实例代码

    这篇文章主要给大家介绍了关于Python使用统计函数绘制简单图形的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Python具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-05-05
  • Python 实现任意区域文字识别(OCR)操作

    Python 实现任意区域文字识别(OCR)操作

    这篇文章主要介绍了Python 实现任意区域文字识别(OCR)操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-03-03

最新评论