关于python处理大型json文件的方法
更新时间：2022年03月08日 09:52:58 作者：人生天天快乐
这篇文章主要介绍了python处理大型json文件的方法,本文通过示例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
如图所示，要处理的数据是一个json数组，而且非常大
下图为电脑配置，使用 json.load() 方法加载上述json文件电脑直接卡死
解决思路：
先用python进行预处理，即一整个json数据加载慢，那就分开加载，每次加载一个json对象，然后使用 json.dumps()方法 存储到txt中，方便读取。当然也可以存储到内存中，根据情况而定。
算法思想：因为 json 是一种结构化的数据，所以 {} 是成对存在的。因为使用逐行读取的方法读入json文件，所以根据 {} 的数量来判断是否读取了一个完整的json对象，如果是完整的，则使用 json.dumps()方法 存储到txt中。
getUsefullData(temp + line,id)这个方法是提取自己需要的数据
def jsonProcess(fileName,round):
id = 1
with open(fileName, 'r', encoding='utf-8') as f,open('../tempData/tempFile'+str(round)+'.txt','w') as tempFile:
line = f.readline()
line = f.readline()
temp = ''
khNum = 0
id = 1
while line:
# print(line)
if line.find('{') != -1:
khNum += 1
if line.find('}') != -1:
khNum -= 1
if khNum == 0:
line = line.replace(',','')
data = getUsefullData(temp + line,id)
id += 1
if len(data) > 1:
# print(data)
try:
tempFile.write(json.dumps(data)+'\n')
except 'json.decoder.JSONDecodeError':
break
temp = ''
line = f.readline()
continue
temp += line
line = f.readline()读取方法：
with open('../tempData/tempFile'+str(round)+'.txt') as f:
dataList = f.readlines()
# 解析保存好的list
for data in dataList:
data = json.loads(data)到此这篇关于python处理大型json文件的方法的文章就介绍到这了,更多相关python处理大型json文件内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
本文将详细介绍如何在 Python 中以表格格式打印列表，以便更好地展示和呈现数据，文中通过示例代码介绍的非常详细，需要的朋友们下面随着小编来一起学习学习吧2023-06-06
相信大多数8090后都玩过太空射击游戏，在过去游戏不多的年代太空射击自然属于经典好玩的一款了，今天我们来自己动手实现它，在编写学习中回顾过往展望未来，在本课中，我们将讨论如何更改 Pygame 处理精灵之间冲突的方式2022-08-08
这篇文章主要介绍了Python多进程与服务器并发原理及用法,深入浅出的介绍了进程、并行、并发、同步、异步等相关概念与原理,并结合实例形式给出了Python多进程编程相关操作技巧,需要的朋友可以参考下2018-08-08
这篇文章主要介绍了Python Flask上下文管理机制实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-03-03
这篇文章主要介绍了详解Django的CSRF认证实现，详细的介绍了csrf原理和实现，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-10-10
安装ElasticSearch搜索工具并配置Python驱动的方法
这篇文章主要介绍了安装ElasticSearch搜索工具并配置Python驱动的方法,文中还介绍了其与Kibana数据显示客户端的配合使用,需要的朋友可以参考下2015-12-12
这篇文章主要为大家介绍了Python使用函数辅助工具简化开发提高效率,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
这篇文章主要介绍了Python内置异常类型全面汇总,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-05-05
详解python环境安装selenium和手动下载安装selenium的方法
这篇文章主要介绍了详解python环境安装selenium和手动下载安装selenium的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-03-03
python pycharm安装第三方包失败(使用pip安装失败)的解决方案
这篇文章主要给大家介绍了关于python pycharm安装第三方包失败(使用pip安装失败)的解决方案,文中将可能遇到的几种情况都进行了分析并给出了详细的解决方案,需要的朋友可以参考下2023-11-11
最新评论