脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python读取pdf表格写入excel

Python读取pdf表格写入excel的方法

 更新时间：2021年01月22日 11:19:13   作者：一只阔爱的程序媛  
这篇文章主要介绍了Python读取pdf表格写入excel的方法，帮助大家更好的利用python处理excel表格，感兴趣的朋友可以了解下

背景

今天突然想到之前被要求做同性质银行的数据分析。妈耶！十几个银行，每个银行近5年的财务数据，而且财务报表一般都是 pdf 的，我们将 pdf 中表的数据一个个的拷贝到 excel 中，再借助 excel 去进行求和求平均等聚合函数操作，完事了还得把求出来的结果再统一 CV 到另一张表中，进行可视化分析…

当然，那时风流倜傥的 老Amy 还熟练的玩转着 excel ，也是个秀儿~ 今天就思索着，如果当年我会 Python 是不是可以让我成为班级最靓的崽！用技术占领高地，HHH，所以今天我来了，希望可以帮助大家解决同性质的问题。

开始学习叭

避免CV大法

pdf 文件的表格的数据可以复制，但是这是一项非常繁琐的事情。所以我首先考虑的是，Python 可否帮助我们高效且规范地读取 pdf 中的表格数据。所以一顿的检索，发现了一个比较优质处理 pdf 的库：pdfplumber，当然这个库需要大家 pip install pdfplumber 去进行安装。以及详细使用可参考全球最大基友社区：https://github.com/jsvine/pdfplumber

步骤：

  • 导入 pdfplumber 库
  • 通过 pdfplumber.open() 函数 获取 mt2018.pdf 文件对象
  • 通过该 对象.pages 获取 pdf 每页的对象，截取我们需要的页对象即可
  • 通过 页对象.extract_tables() 获取表格数据（若需要获取文本：页对象.extract_text()）

代码实现：

import pdfplumber


# 获取 pdf 文件对象
pdf_mt = pdfplumber.open("mt2018.pdf")

# 因为我需要获取的资产负债表在 51-53页 但是索引从0开始 所以切片取 50-52即可
for pdf_pg in pdf_mt.pages[50:53]:
  
  # 只提取当前页表格数据 
  print(pdf_pg.extract_tables())
  
  
--------------------------------------------------------------------------
结果比较多，截取一部分：
[[['项目', '附注', '期末余额', '期初余额'], ['流动资产：', '', '', ''], ['货币资金', '1', '112,074,791,420.06', '87,868,869,913.34'], ['结算备付金', '', '', ''], ['拆出资金', '', '', ''], ['以公允价值计量且其变动计入当\n期损益的金融资产', '', '', ''], ['衍生金融资产', '', '', ''], ['应收票据及应收账款', '2', '563,739,710.00', '1,221,706,039.00']]]

将完整表保存到 csv 文件中

我们发现，返回的数据集是一个三维的列表。那么在我们平时处理的 excel 表格数据(行与列)都是二维的数据。那么，这多出的一维是什么呢？其实就是我们的夜[页]~ 再来一个循环取出二维数据进行保存即可

for pdf_pg in pdf_mt.pages[50:53]:
  for pdf_tb in pdf_pg.extract_tables():
    print(pdf_tb)
    
------------------------------------------------------------------------------
结果比较多，截取一部分：
[['项目', '附注', '期末余额', '期初余额'], ['流动资产：', '', '', ''], ['货币资金', '1', '112,074,791,420.06', '87,868,869,913.34'], ['结算备付金', '', '', ''], ['拆出资金', '', '', ''], ['以公允价值计量且其变动计入当\n期损益的金融资产', '', '', ''], ['衍生金融资产', '', '', ''], ['应收票据及应收账款', '2', '563,739,710.00', '1,221,706,039.00']]

但是，真的那么简单吗？这时，我们就需要细品我们的 pdf 了，如下图

我们发现，一张完整的资产负债表分布在多页上。也就是说，每一页的里面的表格数据都是一个三维的列表，所以我们保存数据的时候，需要让其有共同的表头(列索引)，并且进行拼接。

那必须就要强推我们的 pandas 了，pandas.DataFrame() 非常完美的创建表格式的二维数组，以及指定列索引(表头)。包括可以直接 使用 df.append() 进行共同表头数据的堆叠拼接。

import pdfplumber
import pandas as pd
import numpy as np

# 创建仅有表头的 dataframe 数组
pdf_df = pd.DataFrame(columns=['项目', '附注', '期末余额', '期初余额'])

# 获取 pdf 文件对象
pdf_mt = pdfplumber.open("mt2018.pdf")

# 因为我需要获取的资产负债表在 51-53页 但是索引从0开始 所以切片取 50-52即可
for pdf_pg in pdf_mt.pages[50:53]:
  
  # 获取二维列表
  for pdf_tb in pdf_pg.extract_tables():
    
    # 将其拼接
    pdf_df = pdf_df.append(pd.DataFrame(np.array(pdf_tb),columns=['项目', '附注', '期末余额', '期初余额']))

# 显示后五条
pdf_df.tail()

dataframe数据输出如下：

pdf 53页如下：

实际上，大家也发现，我们获取的最后一页的数据还有一部分是另一个表的，所以我们需要将其去除，并且有序的设置行索引，再保存到 csv 文件中。

# 去除后三行
pdf_df = pdf_df.iloc[:-3,:]

# 重置索引
pdf_df = pdf_df.reset_index(drop=True)

# 保存到 csv 文件中
pdf_df.to_csv("mt_2018.csv")

当然，今天就到这里，其它的需求我们下次给大家完善。大家也可以自己将代码封装成函数，这样就可以实现传入 pdf文件名称、页数以及保存的文件名来复用代码。如果大家再掌握了 pandas 就可以根据自己的需求，对各个表格数据进行处理。再结合 seaborn 绘图可视化，完爆 excel ~ 快学习起来叭，GOGOGO

以上就是Python读取pdf表格写入excel的方法的详细内容，更多关于Python读取pdf表格写入excel的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • Python实现投影法分割图像示例(一)

    Python实现投影法分割图像示例(一)

    今天小编就为大家分享一篇Python实现投影法分割图像示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01
  • Pandas中df.loc[]与df.iloc[]的用法与异同 

    Pandas中df.loc[]与df.iloc[]的用法与异同 

    本文主要介绍了Pandas中df.loc[]与df.iloc[]的用法与异同，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧 
    2022-07-07
  • Python基于dom操作xml数据的方法示例

    Python基于dom操作xml数据的方法示例

    这篇文章主要介绍了Python基于dom操作xml数据的方法,结合实例形式分析了Python针对xml格式文件的加载、读取、节点与属性遍历等相关操作技巧,需要的朋友可以参考下
    2018-05-05
  • Python中实现字符串类型与字典类型相互转换的方法

    Python中实现字符串类型与字典类型相互转换的方法

    这篇文章主要介绍了Python中实现字符串类型与字典类型相互转换的方法,非常实用,需要的朋友可以参考下
    2014-08-08
  • python3解析库BeautifulSoup4的安装配置与基本用法

    python3解析库BeautifulSoup4的安装配置与基本用法

    简单来说，BeautifulSoup就是Python的一个HTML或XML的解析库，我们可以用它来方便地从网页中提取数据，下面这篇文章主要给大家介绍了关于python3解析库BeautifulSoup4的安装配置与基本用法的相关资料，需要的朋友可以参考下
    2018-06-06
  • Python torch.flatten()函数案例详解

    Python torch.flatten()函数案例详解

    这篇文章主要介绍了Python torch.flatten()函数案例详解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下
    2021-08-08
  • keras中epoch,batch,loss,val_loss用法说明

    keras中epoch,batch,loss,val_loss用法说明

    这篇文章主要介绍了keras中epoch,batch,loss,val_loss用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-07-07
  • Python实现智慧校园自动评教全新版

    Python实现智慧校园自动评教全新版

    上一次的智慧校园自动评教是用的selenium库去模拟人去对浏览器进行点击操作,虽然比手动评教要快,但是效率还是不高.从而想去尝试重新写一份不用selenium的评教方案,功夫不负有心人,最终成功了,需要的朋友可以参考下
    2021-06-06
  • Pytorch固定随机数种子的方法小结

    Pytorch固定随机数种子的方法小结

    在对神经网络模型进行训练时,有时候会存在对训练过程进行复现的需求,然而,每次运行时 Pytorch、Numpy 中的随机性将使得该目的变得困难重重,基于此,本文记录了 Pytorch 中的固定随机数种子的方法,需要的朋友可以参考下
    2023-12-12
  • pandas多级分组实现排序的方法

    pandas多级分组实现排序的方法

    下面小编就为大家分享一篇pandas多级分组实现排序的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04

最新评论