脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python解析网页json数据

python解析网页上的json数据并保存到EXCEL

 更新时间：2024年11月14日 11:32:17   作者：脸ル粉嘟嘟  
这篇文章主要为大家详细介绍了如何使用python解析网页上的json数据并保存到EXCEL,文中的示例代码讲解详细,感兴趣的可以了解下

安装必要的库

import requests
import pandas as pd
import os
import sys
import io
import urllib3
import json

测试数据

网页上的数据结构如下

{
    "success": true,
    "code": "CIFM_0000",
    "encode": null,
    "message": "ok",
    "url": null,
    "total": 3,
    "items": [
        {
            "summaryDate": "20240611",
            "summaryType": "naturalDay",
            "workday": true,
            "newCustNum": 1,
            "haveCustNum": 1691627,
            "newAccountNum": 2,
            "haveAccountNum": 1692934,
            "totalShare": 4947657341.69,
            "netCash": -3523387.25,
            "yield": 0.01386
        },
        {
            "summaryDate": "20240612",
            "summaryType": "naturalDay",
            "workday": true,
            "newCustNum": 5,
            "haveCustNum": 1672766,
            "newAccountNum": 5,
            "haveAccountNum": 1674071,
            "totalShare": 4927109080.29,
            "netCash": -20735233.55,
            "yield": 0.01387
        },
        {
            "summaryDate": "20240613",
            "summaryType": "naturalDay",
            "workday": true,
            "newCustNum": 4,
            "haveCustNum": 1662839,
            "newAccountNum": 5,
            "haveAccountNum": 1664146,
            "totalShare": 4927405885.59,
            "netCash": 110659.8,
            "yield": 0.01389
        }
    ],
    "data": null,
    "info": null
}

详细逻辑代码

import requests
import pandas as pd
import os
import sys
import io
import urllib3
import json

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')

url = "https://ip/ma/web/trade/dailySummary?startDate={pi_startdate}&endDate={pi_enddate}"
headers = {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0",
}

def save_data(data, columns, excel_path, sheet_name):
    df = pd.DataFrame(data, columns=columns)
    if not os.path.exists(excel_path):
        df.to_excel(excel_path, sheet_name=sheet_name, index=False)
    else:
        with pd.ExcelWriter(excel_path, engine='openpyxl', mode='a') as writer:
            df.to_excel(writer, sheet_name=sheet_name, index=False)

def json2list(response_text):
    # 把json数据转化为python用的类型
    json_dict = json.loads(response_text)
    src_total = json_dict["total"]
    print("src_total: {}".format(src_total))
    items = json_dict["items"]
    excel_columns = ['summaryDate',
                     'summaryType',
                     'workday',
                     'newCustNum',
                     'haveCustNum',
                     'newAccountNum',
                     'haveAccountNum',
                     'totalShare',
                     'netCash',
                     'yield'
                     ]
    excel_data = []
    # 使用XPath定位元素并打印内容
    for item in items:
        excel_row_data = []
        for column_index in range(len(excel_columns)):
            data = str(item[excel_columns[column_index]])
            if excel_columns[column_index] == 'workday':
                data = str(0 if data == "False" else 1)
            excel_row_data.append(data)
        excel_data.append(excel_row_data)
    trg_total = len(excel_data)
    # 稽核
    print("trg_total: {}".format(trg_total))
    vn_biasval = trg_total - src_total
    if vn_biasval != 0:
        print("This audit-rule is not passed,diff: {}".format(vn_biasval))
        exit(-1)
    else:
        print("This audit-rule is passed,diff: {}".format(vn_biasval))
    return excel_columns, excel_data


if __name__ == '__main__':
    try:
        excel_path = "C:/xxx/temp/ylb_dailySummary_{pi_startdate}_{pi_enddate}.xlsx"
        sheet_name = 'result_data'
        pi_startdate = 20240611
        pi_enddate = 20240613
        excel_path = excel_path.format(pi_startdate=pi_startdate, pi_enddate=pi_enddate)
        url = url.format(pi_startdate=pi_startdate, pi_enddate=pi_enddate)
        print("url:{}".format(url))
        print("excel_path:{}".format(excel_path))
        response_text = requests.get(url, headers=headers, timeout=(21, 300), verify=False).content.decode("utf8")
        excel_columns, excel_data = json2list(response_text)
        print("=================excel_columns=======================")
        print(excel_columns)
        print("=================excel_data==========================")
        for x in excel_data:
            print(x)
        print("=====================================================")
        # 文件存在，则删除
        if os.path.exists(excel_path):
            os.remove(excel_path)
        # 保存文件
        save_data(excel_data, excel_columns, excel_path, sheet_name)
        print("save_data is end.")
    except Exception as e:
        print("[ERROR]：" + str(e))
        exit(-1)

代码解析

1.请求头

构造请求头

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')

url = "https://ip/ma/web/trade/dailySummary?startDate={pi_startdate}&endDate={pi_enddate}"
headers = {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0",
}

2.数据保存到excel

如果excel已经存在，那么则会将数据追加到excel中

def save_data(data, columns, excel_path, sheet_name):
    df = pd.DataFrame(data, columns=columns)
    if not os.path.exists(excel_path):
        df.to_excel(excel_path, sheet_name=sheet_name, index=False)
    else:
        with pd.ExcelWriter(excel_path, engine='openpyxl', mode='a') as writer:
            df.to_excel(writer, sheet_name=sheet_name, index=False)

解析json数据获取字段名称以及对应的数据list列表

def json2list(response_text):
    # 把json数据转化为python用的类型
    json_dict = json.loads(response_text)
    src_total = json_dict["total"]
    print("src_total: {}".format(src_total))
    items = json_dict["items"]
    excel_columns = ['summaryDate',
                     'summaryType',
                     'workday',
                     'newCustNum',
                     'haveCustNum',
                     'newAccountNum',
                     'haveAccountNum',
                     'totalShare',
                     'netCash',
                     'yield'
                     ]
    excel_data = []
    # 使用XPath定位元素并打印内容
    for item in items:
        excel_row_data = []
        for column_index in range(len(excel_columns)):
            data = str(item[excel_columns[column_index]])
            if excel_columns[column_index] == 'workday':
                data = str(0 if data == "False" else 1)
            excel_row_data.append(data)
        excel_data.append(excel_row_data)
    trg_total = len(excel_data)
    # 稽核
    print("trg_total: {}".format(trg_total))
    vn_biasval = trg_total - src_total
    if vn_biasval != 0:
        print("This audit-rule is not passed,diff: {}".format(vn_biasval))
        exit(-1)
    else:
        print("This audit-rule is passed,diff: {}".format(vn_biasval))
    return excel_columns, excel_data

3.测试方法入口

if __name__ == '__main__':

测试结果

会生成ylb_dailySummary_20240611_20240613.xlsx文件

以上就是python解析网页上的json数据并保存到EXCEL的详细内容，更多关于python解析网页json数据的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • Python 找出英文单词列表(list)中最长单词链

    Python 找出英文单词列表(list)中最长单词链

    这篇文章主要介绍了Python 找出英文单词列表(list)中最长单词链，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-12-12
  • Apache如何部署django项目

    Apache如何部署django项目

    这篇文章主要介绍了Apache如何部署django项目，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2017-05-05
  • Python使用BeautifulSoup和Scrapy抓取网页数据的具体教程

    Python使用BeautifulSoup和Scrapy抓取网页数据的具体教程

    在当今信息爆炸的时代,数据无处不在,如何有效地抓取、处理和分析这些数据成为了许多开发者和数据科学家的必修课,本篇博客将深入探讨如何使用Python中的两个强大工具：BeautifulSoup和Scrapy来抓取网页数据,需要的朋友可以参考下
    2025-01-01
  • Python使用Matplotlib进行图案填充和边缘颜色分离的三种方法

    Python使用Matplotlib进行图案填充和边缘颜色分离的三种方法

    Matplotlib是Python中功能强大的绘图库,允许广泛的自定义选项,一个常见的要求是分离出图中的图案填充和边缘颜色,默认情况下,Matplotlib中的填充颜色与边缘颜色相关联,但有一些方法可以独立自定义这些颜色,本文将深入研究如何实现这一点的技术细节,并提供分步说明和示例
    2025-01-01
  • python中eval函数使用与异常处理详解

    python中eval函数使用与异常处理详解

    这篇文章主要给大家介绍了关于python中eval函数使用与异常处理的相关资料,eval()函数用来执行一个字符串表达式,并返回表达式的值,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2024-04-04
  • Python使用POP3和SMTP协议收发邮件的示例代码

    Python使用POP3和SMTP协议收发邮件的示例代码

    这篇文章主要介绍了Python使用POP3和SMTP协议收发邮件的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-04-04
  • Python Poetry实现高效依赖管理的新手指南

    Python Poetry实现高效依赖管理的新手指南

    这篇文章主要为大家详细介绍了Python如何使用Poetry实现高效依赖管理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2025-05-05
  • python关于调用函数外的变量实例

    python关于调用函数外的变量实例

    今天小编就为大家分享一篇python关于调用函数外的变量实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • python中networkx函数的具体使用

    python中networkx函数的具体使用

    本文主要介绍了python中networkx函数的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-02-02
  • python 装饰器带参数和不带参数步骤详解

    python 装饰器带参数和不带参数步骤详解

    装饰器是Python语言中一种特殊的语法,用于在不修改原函数代码的情况下,为函数添加额外的功能或修改函数的行为,这篇文章主要介绍了python装饰器带参数和不带参数的相关知识,需要的朋友可以参考下
    2024-05-05

最新评论