pydantic进阶用法示例详解

 更新时间:2023年03月15日 14:24:24   作者:it_miclon  
这篇文章主要为大家介绍了pydantic进阶用法示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

正文

pydantic是一个Python的数据验证和转换库,它的特点是轻量、快速、可扩展、可配置。笔者常用的用于数据接口schema定义与检查。

具体的基本用法本文不再做过多的介绍,可以参考pydantic官方文档。本文主要是结合实际项目开发中遇到的问题和解题思路,介绍一些pydantic的高阶玩法。

当前现状

在项目中,pydantic的定义是在数据的出口进行规范化,从而使得下游接受方能更快地去解析和清洗这些数据。

from pydantic import BaseModel, Field

# 定义数据模型
class Project(BaseModel):
    url: str = Field(...)
    title: str = Field(...)
    content: str = Field(...)
    company: List[Dict] = Field(default=[])
    industry: str = Field(...)

以上是简单的一个数据模型定义,代码仅为示例,隐去了一些字段和配置。也就是我们必须传输给Project模型对应的数据才可以通过它的数据校验,否则就无法继续向下(可能是发往下游)

这么做一直以来没什么问题,直到本次项目中的接口返回出现了大更新,使得之前的所有代码层做的数据字段映射必须重新对应匹配。

比如之前title字段对应的是title,现在变成了detail-article-title

这使得我们必须在代码层做诸如:

# project_data均为接口返回的数据,加数据演示

# 之前的代码
project_data = {
    "url": "https://www.baidu.com",
    "title": "百度一下,你就知道",
}
project = Project(
    **project_data
)

# 现在的代码
project_data = {
  "detail": {
      "url": "xxx"
      "article": {
          "title": "项目标题",
      }
  }
}
project = Project(
    url=project_data["detail"]["url"],
    title=project_data["detail"]["article"]["title"],
)

以上代码取值变得复杂,这还没考虑到数据可能存在出错的问题,比如detail字段不存在,这样就会导致KeyError异常。

而且这并不是夸张的举例(因为事实情况更复杂)。

我怎么能容忍这种情况呢?

解决方案

我当然不是想摒弃掉pydantic,而是想找到一种结合它更优雅的方式来解决这个问题。

于是我第一时间想到了jmespath模块,因为它是一个JSON查询语言,可以用来在JSON数据中查找和提取数据。

from jmespath import search
project_data = {
    "detail": {
        "article": {
            "title": "项目标题",
        }
    }
}

title = search("detail.article.title", project_data)
assert title == "项目标题"  # True

# 即使是path不存在,也不会异常,而是返回None
assert search("detail.article.title1", project_data) is None  # True

所以我打算做一个结合pydanticjmespath的方式来解决这个问题。

class Project(BaseModel):
    url: str = Field(...)
    title: str = Field(...)
    content: str = Field(...)
    company: List[Dict] = Field(default=[])
    industry: str = Field(...)

    @root_validator(pre=True, skip_on_failure=True)
    def data_converter(cls, v):
        return {
            "url": search("detail.id", v),
            "title": search("detail.article.title", v),
            "content": search("detail.article.content", v),
            "company": search("company[*].name", v),
            "industry": search("industry", v)
        }
    
    @validator("url")
    def url_validator(cls, v):
        # 由于这里的v是拿到的ID,需要组合成url
        return f"https://xxxxx/{v}"

从代码中可以知道,我是在root_validator中提前做了数据的转换,将jmespath的查询结果赋值给对应的字段。

但是做完之后我越看越变扭,我为了做这个事情,先要申明所有字段,还要对这些字段一一映射。

于是,我想到了pydanticConfig类,它可以用来配置pydantic的一些行为。而且通过查看源码,我认为我可以通过Field类中输入一个path变量,告诉未来的处理器,这个path是用来做数据提取的。

class Project(BaseModel):
    url: str = Field(..., path="temporaryLibrary.id")
    company_names: str = Field(..., path="company[0].enterprise.name")
    versions: List[str] = Field(..., path="versionList[*].id")

当然现在代码是没有任何意义的,因为path是我们自定义的,pydantic并不知道如何处理它。

所以下一步我们要做的是,如何更好的让pydantic知道如何处理path

在多次翻阅它源代码,并结合官方文档中对Model类的介绍,我找到了一个可行的方案。

Pydantic models can be created from arbitrary class instances to support models that map to ORM objects.

也就是说,我可以将原始数据通过from_orm传递给pydantic的模型,然后通过Data binding的方式,将数据绑定到模型中。Data binding允许我们自定义数据的取值来源。

class ProjectGetter(GetterDict):

    def get(self, key: str, default: Any) -> Any:  # noqa
        # 由于getter_dict所能拿到的“数据权限”相对较低,
        # 也就是它的权限仅仅是处理数据,而不是处理模型,
        # 所以我们需要自己去拿到模型,然后再去拿到path
        model, data = self._obj['model'], self._obj['data']
        for name, field in model.__fields__.items():
            path = field.field_info.extra.get('path')
            if path and name == key:
                return search(path, data)
        return default


class Project(BaseModel):
    url: str = Field(..., path="detail.id")
    company_names: str = Field(..., path="company[0].enterprise.name")
    versions: List[str] = Field(..., path="versionList[*].id")

    @validator("url")
    def url_validator(cls, v):
        return f"https://www.baidu.com/{v}"

    class Config:
        # 通过orm_mode指定数据的来源
        orm_mode = True
        # 通过getter_dict指定数据的获取方式
        getter_dict = ProjectGetter

project_data = {
    "detail": {
        "id": 1,
        "article": {
            "title": "项目标题",
        }
    },
    "company": [
      {
        "enterprise": {
          "name": "企业名称1"
        }
      },
      {
        "enterprise": {
          "name": "企业名称2"
        }
      }
    ],
    "versionList": [{"id": "1.0"}, {"id": "2.0"}]
}
project = Project.from_orm({"model": Project, "data": project_data})
print(project)
# url='https://www.baidu.com/1' company_names='企业名称1' versions=['1.0', '2.0']

这样我们在业务端,只需要对Field指定其对应数据提取的path,而不需要再去写一堆的validator或者是在数据进入前做一堆的数据转换。

总结

通过这个小例子,我们可以看到,pydantic的灵活性是非常强的,它可以通过Config类来配置一些行为,而且它的Field类也可以通过extra参数来传递一些额外的信息。这大大的提高了我们的对数据的处理能力。笔者也会在后续的文章中,继续分享pydantic的一些使用技巧。

以上就是pydantic进阶用法示例详解的详细内容,更多关于pydantic进阶用法的资料请关注脚本之家其它相关文章!

相关文章

  • 一文掌握python中的__init__的意思及使用场景分析

    一文掌握python中的__init__的意思及使用场景分析

    __init__是构造方法,谁调用,表示谁(更直观的理解就是类的方法中,谁调用,表示谁,见下面第一个代码)!!并不是必选项,也就是说在类中,这个不是必须用的,那什么场景需要用到,什么场景不需要用到呢,感兴趣的朋友跟随小编一起看看吧
    2023-02-02
  • 使用apidocJs快速生成在线文档的实例讲解

    使用apidocJs快速生成在线文档的实例讲解

    下面小编就为大家分享一篇使用apidocJs快速生成在线文档的实例讲解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-02-02
  • python 画二维、三维点之间的线段实现方法

    python 画二维、三维点之间的线段实现方法

    今天小编就为大家分享一篇python 画二维、三维点之间的线段实现方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • 让python 3支持mysqldb的解决方法

    让python 3支持mysqldb的解决方法

    这篇文章主要介绍了关于让python 3支持mysqldb的解决方法,文中给出解决的示例代码,相信对大家具有一定的参考价值,有需要的朋友可以一起来看看。
    2017-02-02
  • Python的Bottle框架中返回静态文件和JSON对象的方法

    Python的Bottle框架中返回静态文件和JSON对象的方法

    这篇文章主要介绍了Python的Bottle框架中返回静态文件和JSON对象的方法,Bottle框架在Python开发者中具有很高的人气,需要的朋友可以参考下
    2015-04-04
  • python实现黄金分割法的示例代码

    python实现黄金分割法的示例代码

    这篇文章主要介绍了python实现黄金分割法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-04-04
  • PaddleOCR 识别表情包文字示例详解

    PaddleOCR 识别表情包文字示例详解

    这篇文章主要为大家介绍了PaddleOCR 识别表情包文字示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-08-08
  • Python 脚本实现淘宝准点秒杀功能

    Python 脚本实现淘宝准点秒杀功能

    这篇文章主要介绍了python实现淘宝准点秒杀脚本,本文图文实例相结合给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-11-11
  • Flask搭建虚拟环境并运行第一个flask程序

    Flask搭建虚拟环境并运行第一个flask程序

    这篇文章主要介绍了Flask搭建虚拟环境并运行第一个flask程序,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-04-04
  • python使用cookie库操保存cookie详解

    python使用cookie库操保存cookie详解

    Python中Cookie模块(python3中为http.cookies)提供了一个类似字典的特殊对象SimpleCookie,其中存储并管理着称为Morsel的cookie值集合,这里介绍了python操作cookie的使用方法
    2014-03-03

最新评论