python中实现json-repair快速修复损坏的JSON文件

 更新时间:2025年11月25日 09:26:44   作者:风华浪浪  
本文主要介绍了python中实现json-repair快速修复损坏的JSON文件,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

一、背景

  • 本人场景:大模型提示词要求返回json格式类型,但是却```json开头,以```结尾, 或者少引号等各种情况
  • 修复 JSON 中的语法错误
    缺少引号、错误放置的逗号、未转义的字符以及不完整的键值对。
    缺少引号、格式不正确的值(true、false、null)以及修复损坏的键值结构。
  • 修复格式错误的 JSON 数组和对象
    通过添加必要的元素(例如,逗号、括号)或默认值(null、“”)导致数组/对象不完整或损坏。
    该库可以处理包含额外非 JSON 字符(如注释或位置不正确的字符)的 JSON,并在保持有效结构的同时清理它们。
  • 自动完成缺失的 JSON 值
    自动使用合理的默认值(如空字符串或 null)完成 JSON 字段中缺失的值,确保有效性。

二、安装与参数

此库来完全替换json.loads()等

pip install json-repair
json_repair -h
usage: json_repair [-h] [-i] [-o TARGET] [--ensure_ascii] [--indent INDENT] [filename]

Repair and parse JSON files.

positional arguments:
  filename              The JSON file to repair (if omitted, reads from stdin)

options:
  -h, --help            show this help message and exit
  -i, --inline          Replace the file inline instead of returning the output to stdout
  -o TARGET, --output TARGET
                        If specified, the output will be written to TARGET filename instead of stdout
  --ensure_ascii        Pass ensure_ascii=True to json.dumps()
  --indent INDENT       Number of spaces for indentation (Default 2)

三、使用示例

少引号

from json_repair import repair_json, loads

json_string = repair_json("{'test_chinese_ascii':'统一码, }", ensure_ascii=False)
print(json_string)

{"test_chinese_ascii": "统一码"}

json_data = loads(json_string)
print(type(json_data), json_data)

<class 'dict'> {'test_chinese_ascii': '统一码'}

有时大模型提示词说返回jison格式类型,但是却```json开头,以```结尾, 或者少引号等各种情况

json_string = "```json{'username': 'zhangsan', 'age': 13, 'phone': 13312345678, 'description': 'hello world'}```"
repair_data = repair_json(json_string)
print(repair_data)

{"username": "zhangsan", "age": 13, "phone": 13312345678, "description": "hello world"}

json_data = loads(json_string)
print(type(json_data), json_data)

<class 'dict'> {'username': 'zhangsan', 'age': 13, 'phone': 13312345678, 'description': 'hello world'}

处理报错 json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2 (char 1)
序列化报错

import json
json_string = "{'start_row': 0, 'end_row': 0, 'env': 0, 'now': 0}"
json_data = json.loads(json_string)
print(json_data)

序列化正确

json_string = "{'start_row': 0, 'end_row': 0, 'env': 0, 'now': 0}"
json_data = loads(json_string)
print(type(json_data), json_data)

四、注意

避免这种反模式
这是很浪费的,因为json_repair它已经为您验证了 JSON 是否有效,
如果您仍然想这样做,那么请skip_json_loads=True按照下面部分所述添加到调用中

obj = {}
try:
    obj = json.loads(string)
except json.JSONDecodeError as e:
    obj = json_repair.loads(string)
    ...

使用中文字符需要添加ensure_ascii=False

repair_json("{'test_chinese_ascii':'统一码'}")
{"test_chinese_ascii": "\u7edf\u4e00\u7801"}
repair_json("{'test_chinese_ascii':'统一码'}", ensure_ascii=False)
{"test_chinese_ascii": "统一码"}

性能注意事项
如果你发现这个库因为正在使用而太慢,json.loads()你可以通过传递skip_json_loads=True给来跳过它repair_json

from json_repair import repair_json

good_json_string = repair_json(bad_json_string, skip_json_loads=True)

我选择不使用任何快速 json 库以避免任何外部依赖,以便任何人都可以使用它,无论他们的堆栈如何。

设置return_objects=True总是会更快,因为解析器已经返回一个对象,并且它没有将该对象序列化为 JSON
skip_json_loads只有当你 100% 确定该字符串不是有效的 JSON 时才会更快
如果您在转义时遇到问题,请将字符串作为**原始字**符串传递,例如:r"string with escaping\""

到此这篇关于python中实现json-repair快速修复损坏的JSON文件的文章就介绍到这了,更多相关python json-repair修复损坏JSON文件内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Pandas实现Excel文件读取,增删,打开,保存操作

    Pandas实现Excel文件读取,增删,打开,保存操作

    Pandas 是一种基于 NumPy 的开源数据分析工具,用于处理和分析大量数据。本文将通过Pandas实现对Excel文件进行读取、增删、打开、保存等操作,需要的可以参考一下
    2023-04-04
  • conda安装tensorflow和conda常用命令小结

    conda安装tensorflow和conda常用命令小结

    这篇文章主要介绍了conda安装tensorflow和conda常用命令小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-02-02
  • 使用K.function()调试keras操作

    使用K.function()调试keras操作

    这篇文章主要介绍了使用K.function()调试keras操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • python能自学吗

    python能自学吗

    在本篇文章里小编给大家整理了关于python如何自学的相关理论性文章,有需要的朋友们可以参考下。
    2020-06-06
  • Python常用的文件及文件路径、目录操作方法汇总介绍

    Python常用的文件及文件路径、目录操作方法汇总介绍

    这篇文章主要介绍了Python常用的文件及文件路径、目录操作方法汇总介绍,本文集合了最常用的一些文件和目录操作函数,并一一介绍它们的作用,需要的朋友可以参考下
    2015-05-05
  • 使用Python解析JSON的实现示例

    使用Python解析JSON的实现示例

    本文主要介绍了使用Python解析JSON的实现示例,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-12-12
  • 解读torch.cuda.amp自动混合精度训练之节省显存并加快推理速度

    解读torch.cuda.amp自动混合精度训练之节省显存并加快推理速度

    这篇文章主要介绍了torch.cuda.amp自动混合精度训练之节省显存并加快推理速度问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • Scrapy-Redis之RedisSpider与RedisCrawlSpider详解

    Scrapy-Redis之RedisSpider与RedisCrawlSpider详解

    这篇文章主要介绍了Scrapy-Redis之RedisSpider与RedisCrawlSpider详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-11-11
  • Python画图小案例之小雪人超详细源码注释

    Python画图小案例之小雪人超详细源码注释

    在看了很多Python教程之后,觉得是时候做点什么小项目来练练手了,于是想来想去,用python写了一个小雪人,代码注释无比详细清楚,快来看看吧
    2021-09-09
  • pandas 选择某几列的方法

    pandas 选择某几列的方法

    今天小编就为大家分享一篇pandas 选择某几列的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-07-07

最新评论