Python使用jsonpath-rw模块处理Json对象操作示例

 更新时间:2018年07月31日 14:17:45   作者:站在两个世界的边缘  
这篇文章主要介绍了Python使用jsonpath-rw模块处理Json对象操作,结合实例形式分析了Python使用requests与response处理json的方法,并给出了jsonpath_rw模块操作json对象的基本示例,需要的朋友可以参考下

本文实例讲述了Python使用jsonpath-rw模块处理Json对象操作。分享给大家供大家参考,具体如下:

这两天在写一个爬虫,需要从网站返回的json数据提取一些有用的数据。

向url发起请求,返回的是response,在python3中,response.content是二进制bytes类型的,需要用decode()转成unicode的str类型

#如果用的requests发的请求
import json
response = requests.get(url,headers=self.headers)
response = response.content.decode()
response = json.loads(response) #转成json对象,在python里也就是dict类型

#如果用的scrapy.Request发的请求
import json
import scrapy
response = scrapy.Request(url,headers=self.headers)
response = response.text.decode()
response = json.loads(response) #转成json对象,在python里也就是dict类型

也就是说处理json对象其实可以和处理dict一样,那就要用到很多中括号,而且取值也只能取单个精确的值。一点都不灵活

用过xpath和css选择器的人当然会觉得这种方法很笨重。

而恰巧json也有类型的选择器:jsonpath

但是需要注意的是,python的库并不是jsonpath(还真有这个库,但是不知如何使用,官方也没有给出python的使用文档),真正在python中可以使用的库是:jsonpath-rw

官方文档https://pypi.python.org/pypi/jsonpath-rw (更多jsonpath的语法请点击链接)

下面只列下简单常用的基本方法

使用示例

>>> from jsonpath_rw import jsonpath, parse
>>> json_obj = {"student":[{"male":176,"female":162},{"male":174,"female":159}]}
>>> jsonpath_expr = parse("student[*].male")
>>> male = jsonpath_expr.find(json_obj)
>>> male #返回的是list,但是不是我们想要的值
[DatumInContext(value=176, path=Fields('male'), context=DatumInContext(value={'male': 176, 'female': 162}, path=<jsonpath_rw.jsonpath.Index object at 0x000001C6B95109B0>, context=DatumInContext(value=[{'male': 176, 'female': 162}, {'male': 174, 'female': 159}], path=Fields('student'), context=DatumInContext(value={'student': [{'male': 176, 'female': 162}, {'male': 174, 'female': 159}]}, path=This(), context=None)))), DatumInContext(value=174, path=Fields('male'), context=DatumInContext(value={'male': 174, 'female': 159}, path=<jsonpath_rw.jsonpath.Index object at 0x000001C6B9510588>, context=DatumInContext(value=[{'male': 176, 'female': 162}, {'male': 174, 'female': 159}], path=Fields('student'), context=DatumInContext(value={'student': [{'male': 176, 'female': 162}, {'male': 174, 'female': 159}]}, path=This(), context=None))))]
#想要获取值,要用如下方法
>>> [match.value for match in male]
[176, 174]

PS:这里再为大家推荐几款比较实用的json在线工具供大家参考使用:

在线JSON代码检验、检验、美化、格式化工具:
http://tools.jb51.net/code/json

JSON在线格式化工具:
http://tools.jb51.net/code/jsonformat

在线XML/JSON互相转换工具:
http://tools.jb51.net/code/xmljson

json代码在线格式化/美化/压缩/编辑/转换工具:
http://tools.jb51.net/code/jsoncodeformat

在线json压缩/转义工具:
http://tools.jb51.net/code/json_yasuo_trans

更多Python相关内容感兴趣的读者可查看本站专题:《Python操作json技巧总结》、《Python编码操作技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总

希望本文所述对大家Python程序设计有所帮助。

相关文章

  • 玩转python爬虫之URLError异常处理

    玩转python爬虫之URLError异常处理

    这篇文章主要介绍了python爬虫的URLError异常处理,详细探寻一下URL\HTTP异常处理的相关内容,通过一些具体的实例来分析一下,非常的简单,但是却很实用,感兴趣的小伙伴们可以参考一下
    2016-02-02
  • Python实现感知机(PLA)算法

    Python实现感知机(PLA)算法

    这篇文章主要为大家详细介绍了Python实现感知机(PLA)算法,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-12-12
  • python3.6.8 + pycharm + PyQt5 环境搭建的图文教程

    python3.6.8 + pycharm + PyQt5 环境搭建的图文教程

    这篇文章主要介绍了python3.6.8 + pycharm + PyQt5 环境搭建,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-06-06
  • PyQt5 实现状态栏永久显示消息

    PyQt5 实现状态栏永久显示消息

    这篇文章主要介绍了PyQt5 实现状态栏永久显示消息的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-03-03
  • Python+Selenium实现表单自动填充和提交

    Python+Selenium实现表单自动填充和提交

    你是不是也厌倦了每天重复表单填写的工作,是时候让技术来帮助我们解放双手了,下面小编就为大家介绍一下如何使用Selenium和Python来自动填充和提交表单
    2023-09-09
  • 20非常有用的Python单行代码分享

    20非常有用的Python单行代码分享

    有用的 Python 单行代码片段,只需一行代码即可解决特定编码问题!本文将分享20 个 Python 一行代码,你可以在 30 秒或更短的时间内轻松学习它们。这种单行代码将节省你的时间,并使你的代码看起来更干净且易于阅读
    2022-11-11
  • 人工智能—Python实现线性回归

    人工智能—Python实现线性回归

    这篇文章主要介绍了人工智能—Python实现线性回归,人工智能分为类型、数据集、效果评估、等,线性回归根据随机初始化的 w x b 和 y 来计算 loss等步骤实现,下面来看看文章的具体实现吧
    2022-01-01
  • PyQt5多线程防卡死和多窗口用法的实现

    PyQt5多线程防卡死和多窗口用法的实现

    这篇文章主要介绍了PyQt5多线程防卡死和多窗口用法的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-09-09
  • 基于Python创建可定制的HTTP服务器

    基于Python创建可定制的HTTP服务器

    这篇文章主要为大家演示一下如何使用 http.server 模块来实现一个能够发布网页的应用服务器,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一下
    2023-05-05
  • python 爬取知乎回答下的微信8.0状态视频

    python 爬取知乎回答下的微信8.0状态视频

    这篇文章主要介绍了python 爬取知乎的微信8.0状态视频的方法,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下
    2021-03-03

最新评论