Pandas读存JSON数据操作示例详解

 更新时间:2022年08月22日 15:30:52   作者:皮大大  
这篇文章主要为大家介绍了Pandas读存JSON数据操作示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

引言

本文介绍的如何使用Pandas来读取各种json格式的数据,以及对json数据的保存

读取json数据

使用的是pd.read_json函数,见官网:pandas.pydata.org/docs/refere…

pandas.read_json(
  path_or_buf=None,  # 文件路径
  orient=None,  # 取值:split、records、index、columns、values
  typ='frame',   # 要恢复的对象类型(系列或框架),默认'框架'.
  dtype=None, # boolean或dict,默认为True
  convert_axes=None,
  convert_dates=True,
  keep_default_dates=True,
  numpy=False,
  precise_float=False,
  date_unit=None,
  encoding=None,  # 编码
  lines=False,  # 布尔值,默认为False,每行读取该文件作为json对象
  chunksize=None,  # 分块读取大小
  compression='infer',
  nrows=None,
  storage_options=None)

模拟数据

模拟了一份数据,vscode打开内容:

可以看到默认情况下的读取效果:

主要有下面几个特点:

  • 第一层级字典的键当做了DataFrame的字段
  • 第二层级的键默认当做了行索引

下面重点解释下参数orident

参数orident

取值可以是:split、records、index、columns、values

orident="split"

json文件的key的名字只能为index,cloumns,data;不多也不能少。

split' : dict like {index -> [index], columns -> [columns], data -> [values]}

In [3]:

data1 = '{"index":[1,2],"columns":["name","age"],"data":[["xiaoming",28], ["zhouhong",20]]}'

In [4]:

df1 = pd.read_json(data1, orient="split")
df1

结果表明:

  • index:当做行索引
  • columns:列名
  • data:具体的取值

如果我们改变其中一个key,比如data换成information就报错了:

orient="records"

当orient="records"的时候,数据是以字段 + 取值的形式存放的。

‘records' : list like [{column -> value}, … , {column -> value}]

In [7]:

data2 = '[{"name":"Peter","sex":"male","age":20},{"name":"Tom","age":27},{"sex":"male"}]'

In [8]:

df2 = pd.read_json(data2, orient="records")
df2

生成数据的特点:

  • 列表中元素是以字典的形式存放
  • 列表中每个元素(字典)的key,如果没有出现则取值为NaN

orient="index"

当orient="index"的时候,数据是以的形式来存储。

dict like {index -> {column -> value}}

In [9]:

data3 = '{"id1":{"name":"Mike","age":20,"sex":"male","score":80},"id2":{"name":"Jack","sex":"female","score":90}}'

In [10]:

df3 = pd.read_json(data3, orient="index")
df3

  • 每个id存放一条数据
  • 未出现的key取值为NaN

orient="columns"

在这种情况下数据是以列的形式来存储的。

dict like {column -> {index -> value}}

In [11]:

data4 = '{"sex":{"id1":"Peter","id2":"Tom","id3":"Jimmy"},"age":{"id1": 20,"id3":28}}'

In [12]:

df4 = pd.read_json(data4, orient="columns")
df4

如果我们对上面的结果实施转置(两种方法):

我们会发现这个结果和orient="index"的读取结果是相同的:

orient="values"

在这种情况下,数据是以数组的形式存在的:

‘values' : just the values array

In [16]:

data5 = '[["深圳",2000],["广州",1900],["北京",2500]]'

In [17]:

df5 = pd.read_json(data5, orient="values")
df5

对生成的列名进行重新命名:

to_json

将DataFrame数据保存成json格式的文件

DataFrame.to_json(path_or_buf=None,  # 路径
                  orient=None, # 转换类型
                  date_format=None, # 日期转换类型
                  double_precision=10,  # 小数保留精度
                  force_ascii=True, # 是否显示中文
                  date_unit='ms', # 日期显示最小单位
                  default_handler=None, 
                  lines=False, 
                  compression='infer', 
                  index=True, # 是否保留行索引
                  indent=None, # 空格数
                  storage_options=None)

官网学习地址:

pandas.pydata.org/docs/refere…

1、默认保存

df.to_json("df_to_json_1.json", force_ascii=True)  # 不显示中文

显示结果为一行数据,且存在unicode编码,中文无法显示:

{"sex":{"Jimmy":"male","Tom":"female","Jack":"male","Mike":"female"},"age":{"Jimmy":20,"Tom":18,"Jack":29,"Mike":26},"height":{"Jimmy":187,"Tom":167,"Jack":178,"Mike":162},"address":{"Jimmy":"\u6df1\u5733","Tom":"\u4e0a\u6d77","Jack":"\u5317\u4eac","Mike":"\u5e7f\u5dde"}}

2、显示中文

df.to_json("df_to_json_2.json", force_ascii=False)  # 显示中文

中文能够正常显示:

{"sex":{"Jimmy":"male","Tom":"female","Jack":"male","Mike":"female"},"age":{"Jimmy":20,"Tom":18,"Jack":29,"Mike":26},"height":{"Jimmy":187,"Tom":167,"Jack":178,"Mike":162},"address":{"Jimmy":"深圳","Tom":"上海","Jack":"北京","Mike":"广州"}}

3、不同的orient显示 + 换行(indent参数)

df.to_json("df_to_json_3.json", force_ascii=False, orient="index",indent=4) 
# index + 换行

显示结果中键为name信息:

4、改变index

df.to_json("df_to_json_4.json", force_ascii=False, orient="columns",indent=4)   # columns + 换行

以上就是Pandas读存JSON数据操作示例详解的详细内容,更多关于Pandas读存JSON数据的资料请关注脚本之家其它相关文章!

相关文章

  • Tensorflow 模型转换 .pb convert to .lite实例

    Tensorflow 模型转换 .pb convert to .lite实例

    今天小编就为大家分享一篇Tensorflow 模型转换 .pb convert to .lite实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02
  • Flask  response 对象详情

    Flask  response 对象详情

    在 Flask 中,响应使用 Response 对象表示,响应报文中的大部分内容由服务器处理,一般情况下,我们只负责返回主体内容即可。在之前的文章中,我们了解到 Flask 会先匹配请求 url 的路由,调用对应的视图函数,视图函数的返回值构成了响应报文的主体内容。
    2021-11-11
  • python 基于opencv 实现一个鼠标绘图小程序

    python 基于opencv 实现一个鼠标绘图小程序

    这篇文章主要介绍了python 基于opencv 实现一个鼠标绘图小程序,帮助大家更好的理解和使用python的opencv库,感兴趣的朋友可以了解下
    2020-12-12
  • 如何用python将文件夹内多个excel表格合并成总表

    如何用python将文件夹内多个excel表格合并成总表

    前几天遇见这么一个问题,手上有很多张表格,这些表格中都只有一个sheet,需要把这些表汇总到一张表,下面这篇文章主要给大家介绍了关于如何用python将文件夹内多个excel表格合并成总表的相关资料,需要的朋友可以参考下
    2023-06-06
  • 基于K-Means聚类算法演示及可视化展示

    基于K-Means聚类算法演示及可视化展示

    这篇文章主要介绍了基于K-Means聚类算法演示及可视化展示,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-11-11
  • Pytest Fixture参数讲解及使用

    Pytest Fixture参数讲解及使用

    这篇文章主要介绍了Pytest之Fixture参数详解及使用,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-01-01
  • Python原始字符串(raw strings)用法实例

    Python原始字符串(raw strings)用法实例

    这篇文章主要介绍了Python原始字符串(raw strings)用法实例,在使用Python进行字符串处理的过程中非常具有实用价值,需要的朋友可以参考下
    2014-10-10
  • Python基于yield遍历多个可迭代对象

    Python基于yield遍历多个可迭代对象

    这篇文章主要介绍了Python基于yield遍历多个可迭代对象,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-03-03
  • python 使用OpenCV进行简单的人像分割与合成

    python 使用OpenCV进行简单的人像分割与合成

    这篇文章主要介绍了python 使用OpenCV进行简单的人像分割与合成的方法,帮助大家更好的利用python处理图像,感兴趣的朋友可以了解下
    2021-02-02
  • AI:如何训练机器学习的模型

    AI:如何训练机器学习的模型

    这篇文章主要介绍了是如何进行机器学习的模型的训练,全文逻辑清晰,简单易懂,如果您正在学习机器学习那么可以参考下,说不定会有不一样的收货
    2021-04-04

最新评论