解决python执行较大excel文件openpyxl慢问题

 更新时间:2020年05月15日 15:15:54   作者:Pcject  
这篇文章主要介绍了解决python执行较大excel文件openpyxl慢问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

我就废话不多说了,大家还是直接看代码吧!

talk is cheap

  from openpyxl import Workbook
  from openpyxl.utils import get_column_letter
  from openpyxl import load_workbook
  import time
  wb = load_workbook("E:/a.xlsx", read_only=True)
  sh = wb["Sheet"]
  # rowItem = {}
  # for j in range(1,2000):
  #   for i in range(1, 30):
  #     rowItem[get_column_letter(i)] = i
  #   sh.append(rowItem)
  # wb.save("E:/a.xlsx")
  t0 = time.time()
  print(sh['V500'].value)
  t1 = time.time()
  print("openpyxl所用时间:", str(t1-t0))

  import xlrd
  xlsPath = "E:/a.xlsx"
  WorkBook = xlrd.open_workbook(xlsPath)
  sh = WorkBook.sheet_by_name("Sheet")

  t0 = time.time()
  print(sh.cell(499,22).value)
  t1 = time.time()
  print("xlrd所用时间:", str(t1-t0))

测试结果:

22
openpyxl所用时间: 0.44217610359191895
23.0
xlrd所用时间: 0.0010063648223876953

结论

openpyxl的慢是读取慢,可以选择xlrd代替,详细测试下面继续

不直接使用xlwt+xlrd是因为xlwt仅支持2003及以下版本,最大行数限制在65536,不够用,而openpyxl大概在一百多万

主要的说完了,下面详细说了:在写工具的时候遇到的这个问题,开始是用的xlwt+xlrd,然后行数超标了,没办法换成openpyxl使用excel2007的版本,原本测试不到三万行的数据,只要三四秒,换成openpyxl以后,花了好几分钟,具体没看多少了,然后加上函数运行时间的监视器以后,才看到是读取的时候出的问题

推测原因:

推测的话,openpyxl的根据行号列号读取的时候,是从第一行第一列开始遍历,直到行号等于指定行号,列号等于指定列号,所以要读取的行号列号越多就越慢,(也可能是从第一个有数据的行或列),而xlrd则是类似与数组一样,我们要取第几个元素,直接根据下标找到内存中对应地址的元素即可,所以无论excel总量多少,速度基本都是不变的

留下的坑

xlwt写入仅支持65536行,那xlrd的读取很可能也是,也就是超过这么多的数据可能也会出错

我这里因为是读多表数据生成单表数据,生成方式大概是Na*Nb这样,所以实际读取的不会太多,但生成的很多,所以基本可以用考虑这个问题

另外,据说xlrd读取xlsx格式的偶尔会出现问题,具体没测试,暂时用还没毛病

最后,顺带上一下监控函数运行时间的装饰器吧:

import time
from functools import wraps

def fn_timer(function):
  @wraps(function)
  def function_timer(*args, **kwargs):
    t0 = time.time()
    result = function(*args, **kwargs)
    t1 = time.time()
    print ("Total time running %s: %s seconds" %
      (function.__name__, str(t1-t0))
      )
    return result
  return function_timer

使用方式的话,就是在要监控的函数定义上面加上 @fn_timer 就行了

以上这篇解决python执行较大excel文件openpyxl慢问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python中的字符串常用方法整理概述

    Python中的字符串常用方法整理概述

    Python中的字符串是一种不可变的序列类型,使用单引号(')或双引号(")括起来。本文整理概述了python中字符串常用方法,文中有详细的代码示例,对学习或工作有一定的帮助,需要的同学可以参考一下
    2023-05-05
  • 从运行效率与开发效率比较Python和C++

    从运行效率与开发效率比较Python和C++

    今天小编就为大家分享一篇关于从运行效率与开发效率比较Python和C++,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2018-12-12
  • Pycharm新手教程(只需要看这篇就够了)

    Pycharm新手教程(只需要看这篇就够了)

    这篇文章主要介绍了Pycharm新手教程(只需要看这篇就够了),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-06-06
  • Python利用contextvars实现管理上下文变量

    Python利用contextvars实现管理上下文变量

    Python 在 3.7 的时候引入了一个模块:contextvars,从名字上很容易看出它指的是上下文变量。所以本文就来和大家详细讲讲如何使用contextvars实现管理上下文变量,需要的可以参考一下
    2022-07-07
  • Python使用smtplib模块发送电子邮件的流程详解

    Python使用smtplib模块发送电子邮件的流程详解

    Python中自带的smtplib模块可以进行基于SMTP协议的邮件操作,这里我们便总结了Python使用smtplib模块发送电子邮件的流程详解,并对一些常见的问题给出了解决方法:
    2016-06-06
  • 在python中以相同顺序shuffle两个list的方法

    在python中以相同顺序shuffle两个list的方法

    今天小编就为大家分享一篇在python中以相同顺序shuffle两个list的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • 使用Pycharm在运行过程中,查看每个变量的操作(show variables)

    使用Pycharm在运行过程中,查看每个变量的操作(show variables)

    这篇文章主要介绍了使用Pycharm在运行过程中,查看每个变量的操作(show variables),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • tensorflow如何批量读取图片

    tensorflow如何批量读取图片

    这篇文章主要为大家详细介绍了tensorflow如何批量读取图片,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-08-08
  • Mysql分组查询group by与with rollup方式

    Mysql分组查询group by与with rollup方式

    这篇文章主要介绍了Mysql分组查询group by与with rollup方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • Python 实现RSA加解密文本文件

    Python 实现RSA加解密文本文件

    这篇文章主要介绍了Python 实现RSA加解密文本文件的方法,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下
    2020-12-12

最新评论