Python这样操作能存储100多万行的xlsx文件

 更新时间:2019年04月16日 09:34:21   作者:Python小老弟  
这篇文章主要介绍了Python这样操作能存储100多万行的xlsx文件的方法,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下

(1) 如果excel文件是xls,2003版的,使用xlrd和xlwt库来对xls文件进行操作

(2) 如果excel文件是xlsx,2007以上版的,使用openpyxl库来对xlsx文件进行操作

Tips:xlrd、xlwt和openpyxl非python自带库。

我们使用Python做数据挖掘和分析时候,当数据行超过一定数量,xls文件是存不下的。显然无法满足我们的大量数据存储需求,这个时候需要改用xlsx。

那具体xls和xlsx最大分别可以存多少行呢?

(1) 对于2003版本的xls文件,最大行数是65536行

(2) 对于2007版本的xlsx文件,最大行数是1048576行

闲话不多聊,直接上代码干货

!/usr/bin/env python3
- - coding: utf-8 - -

读写2007 excel

import pprint
import openpyxl
import openpyxl.styles
from openpyxl.styles import Font,colors

读取Excel文件

def readExcel(filename):
workbook = openpyxl.load_workbook(filename)
worksheet = workbook['用户']
list = []
for row in worksheet.rows: # 1行1行读
lineData = [] # 行数据
col = 1
for cell in row:
lineData.append(cell.value) # 1列1列读
col = col + 1
list.append(lineData)
return list

操作数据

def operateData(filename):
list = readExcel(filename)

去除第一行,第一行是表头

list.pop(0)
pprint.pprint(list)
pprint.pprint("先按性别排序,再按身高排序")

要对身高进行排序,但是男女有别

先按性别排序,再按身高排序

list.sort(key=lambda ele: (ele[3], ele[4]))
pprint.pprint(list)

获取Excel标签列表

比如第5行标签列表,总共4列 ['A5', 'B5', 'C5', 'D5']

def getTagList(index, colNum):
tagList = []
for i in range(0, colNum):

A的ascii码值65

tag = chr(65 + i) + str(index)
tagList.append(tag)
return tagList

写入Excel文件

def writeExcel(outputFilePath, list):
book = openpyxl.Workbook()
sheet = book.create_sheet("用户", 0)
sheet.title = "用户" # sheet名称
rowNum = len(list)
try:

1行1行读取

for i in range(1, rowNum + 1): # 下标从1开始
datalist = list[i -1] # 读取1行
col = 1

1列1列写入

for data in datalist:
sheet.cell(i, col, data) #写入内容
col += 1

获取标签列表

tagList = getTagList(i, len(datalist))
font = Font('微软雅黑', size = 14, color = '333333')

设置单元格字体、字号、颜色

for tag in tagList:
sheet[tag].font = font # 设置字体

保存文件

book.save(outputFilePath)
except Exception as e: # 捕获异常
print(e)

主函数

if name == " main ":
print("读取xlsx格式的数据")
userList = readExcel('user.xlsx')
print("写入xlsx文件")
writeExcel("user2.xlsx", userList)
print("操作数据")
operateData('user.xlsx')

总结

以上所述是小编给大家介绍的Python这样操作能存储100多万行的xlsx文件,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

相关文章

  • Python断言assert的用法代码解析

    Python断言assert的用法代码解析

    这篇文章主要介绍了Python断言assert的用法代码解析,分享了相关代码示例,小编觉得还是挺不错的,具有一定借鉴价值,需要的朋友可以参考下
    2018-02-02
  • Python RPA自动化机器人模拟鼠标键盘

    Python RPA自动化机器人模拟鼠标键盘

    这篇文章主要介绍了Python RPA自动化机器人模拟鼠标键盘,RPA,全称为Robotic Process Automation,即机器人流程自动化。我们可以利用RPA技术将工作中可重复的部分流程化,让机器替我们完成这一工作
    2023-02-02
  • Python 中 Selenium 的 getAttribute() 函数详解

    Python 中 Selenium 的 getAttribute() 

    本文将解释如何使用Selenium的getAttribute()方法,getAttribute() 方法可以检索元素属性,例如锚标记的 href 属性, 该函数最初将尝试返回指定属性的值,感兴趣的朋友跟随小编一起看看吧
    2023-11-11
  • 一文详解Python中的行为验证码验证功能

    一文详解Python中的行为验证码验证功能

    最近在开发行为验证码,经常触及到关于验证类型的相关内容。但使用起来不太熟练,所以本文就来总结一下对行为验证码验证类型的理解
    2023-03-03
  • python如何将文件a.txt的内容复制到b.txt中

    python如何将文件a.txt的内容复制到b.txt中

    这篇文章主要介绍了python如何将文件a.txt的内容复制到b.txt中,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-12-12
  • Django rest framework jwt的使用方法详解

    Django rest framework jwt的使用方法详解

    这篇文章主要介绍了Django rest framework jwt的使用方法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • windows系统Tensorflow2.x简单安装记录(图文)

    windows系统Tensorflow2.x简单安装记录(图文)

    这篇文章主要介绍了windows系统Tensorflow2.x简单安装记录(图文),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-01-01
  • Python数据预处理时缺失值的不同处理方式总结

    Python数据预处理时缺失值的不同处理方式总结

    在使用python做数据分析的时候,经常需要先对数据做统一化的处理,缺失值的处理是经常会使用到的。今天介绍的是使用差补法/均值/固定值等不同的方式完成数据填充从而保证数据的完整性,感兴趣的可以了解一下
    2022-12-12
  • Python如何实现拆分数据集

    Python如何实现拆分数据集

    这篇文章主要介绍了Python如何实现拆分数据集问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-09-09
  • python生成requirements.txt文件的推荐方法

    python生成requirements.txt文件的推荐方法

    Python项目中必须包含一个requirements.txt文件,用于记录所有依赖包及其精确的版本号,以便新环境部署,下面这篇文章主要给大家介绍了关于python生成requirements.txt文件的相关资料,需要的朋友可以参考下
    2022-07-07

最新评论