Python实现批量CSV转Excel的高性能处理方案

 更新时间:2025年09月01日 09:15:54   作者:小庄-Python办公  
在日常办公中,我们经常需要将CSV格式的数据转换为Excel文件,本文将介绍一个基于Python的高性能解决方案,感兴趣的小伙伴可以跟随小编一起学习一下

一、场景需求

在日常办公中,我们经常需要将CSV格式的数据转换为Excel文件。特别是当遇到以下情况时:

需要处理数十万行的大型数据文件

要求保留原始数据格式(如数字、文本等)

需要对表头和内容应用不同的样式

需要批量转换多个CSV文件

本文将介绍一个基于Python的高性能解决方案。

二、技术方案

我们使用pyexcelerate库来实现高性能的Excel文件生成,相比传统的openpyxl或pandas,它在处理大规模数据时速度更快。

用途安装
pyexcelerateExcel写入pip install pyexcelerate -i https://pypi.tuna.tsinghua.edu.cn/simple/
os获取路径内置库无需安装
csv读写csv文件内置库无需安装

三、核心代码

核心代码

import csv
import os
import time
from pyexcelerate import Workbook, Style, Font, Fill, Color, Alignment

# 预定义表头样式
header_style = Style(
    font=Font(bold=True, size=9, color=Color(255, 255, 255), family='Arial'),
    fill=Fill(background=Color(192, 0, 0)),  # 红色背景
    alignment=Alignment(horizontal='center', vertical='center')
)

# 单元格样式(普通文本)
content_style = Style(
    font=Font(size=9, family='Arial'),
    alignment=Alignment(horizontal='center', vertical='center')
)

def csv_to_excel(csv_path, excel_path):
    """将CSV文件转换为Excel文件"""
    start_time = time.time()
    
    # 读取CSV数据
    with open(csv_path, 'r', encoding='utf-8') as csvfile:
        reader = csv.reader(csvfile)
        header = next(reader)
        data = list(reader)
    
    # 创建Excel工作簿
    wb = Workbook()
    ws = wb.new_sheet("Sheet1")
    
    # 写入数据并应用样式
    for row_idx, row_data in enumerate([header] + data, start=1):
        for col_idx, value in enumerate(row_data, start=1):
            ws.set_cell_value(row_idx, col_idx, value)
            ws.set_cell_style(row_idx, col_idx, 
                             header_style if row_idx == 1 else content_style)
    
    # 保存Excel文件
    os.makedirs(os.path.dirname(excel_path), exist_ok=True)
    wb.save(excel_path)
    
    print(f"转换完成,耗时:{time.time() - start_time:.2f}秒")
    print(f"文件已保存至:{os.path.abspath(excel_path)}")

四、批量处理方案

如果需要批量处理多个CSV文件,可以使用以下代码:

def batch_convert(csv_folder, output_folder):
    """批量转换文件夹中的所有CSV文件"""
    if not os.path.exists(output_folder):
        os.makedirs(output_folder)
    
    for filename in os.listdir(csv_folder):
        if filename.endswith('.csv'):
            csv_path = os.path.join(csv_folder, filename)
            excel_name = os.path.splitext(filename)[0] + '.xlsx'
            excel_path = os.path.join(output_folder, excel_name)
            
            print(f"正在处理: {filename}")
            csv_to_excel(csv_path, excel_path)

五、性能优化

样式预定义:提前定义好样式对象,避免重复创建

批量写入:虽然示例中是逐个单元格写入,但pyexcelerate内部已做优化

类型处理:可扩展代码自动识别数字列并转换格式

六、使用示例

if __name__ == "__main__":
    # 单文件转换
    csv_to_excel('input.csv', 'output/output.xlsx')
    
    # 批量转换
    batch_convert('csv_files', 'excel_outputs')

完整代码

import csv
import os
import time
from pyexcelerate import Workbook, Style, Font, Fill, Color, Alignment

# 预定义表头样式
header_style = Style(
    font=Font(bold=True, size=9, color=Color(255, 255, 255), family='Arial'),
    fill=Fill(background=Color(192, 0, 0)),  # 红色背景
    alignment=Alignment(horizontal='center', vertical='center')
)

# 单元格样式(普通文本)
content_style = Style(
    font=Font(size=9, family='Arial'),
    alignment=Alignment(horizontal='center', vertical='center')
)

def csv_to_excel(csv_path, excel_path):
    """将CSV文件转换为Excel文件"""
    start_time = time.time()
    
    # 读取CSV数据
    with open(csv_path, 'r', encoding='utf-8') as csvfile:
        reader = csv.reader(csvfile)
        header = next(reader)
        data = list(reader)
    
    # 创建Excel工作簿
    wb = Workbook()
    ws = wb.new_sheet("Sheet1")
    
    # 写入数据并应用样式
    for row_idx, row_data in enumerate([header] + data, start=1):
        for col_idx, value in enumerate(row_data, start=1):
            ws.set_cell_value(row_idx, col_idx, value)
            ws.set_cell_style(row_idx, col_idx, 
                             header_style if row_idx == 1 else content_style)
    
    # 保存Excel文件
    os.makedirs(os.path.dirname(excel_path), exist_ok=True)
    wb.save(excel_path)
    
    print(f"转换完成,耗时:{time.time() - start_time:.2f}秒")
    print(f"文件已保存至:{os.path.abspath(excel_path)}")
   
def batch_convert(csv_folder, output_folder):
    """批量转换文件夹中的所有CSV文件"""
    if not os.path.exists(output_folder):
        os.makedirs(output_folder)
    
    for filename in os.listdir(csv_folder):
        if filename.endswith('.csv'):
            csv_path = os.path.join(csv_folder, filename)
            excel_name = os.path.splitext(filename)[0] + '.xlsx'
            excel_path = os.path.join(output_folder, excel_name)
            
            print(f"正在处理: {filename}")
            csv_to_excel(csv_path, excel_path)
 
if __name__ == "__main__":
    # 单文件转换
    csv_to_excel('input.csv', 'output/output.xlsx')
    
    # 批量转换
    batch_convert('csv_files', 'excel_outputs')

七、小结

通过这种方法,我们可以:

  • 高效处理数十万行的大型CSV文件
  • 保持数据的原始格式
  • 应用专业的Excel样式
  • 轻松实现批量转换

对于需要处理更大数据量的场景,还可以考虑分块读取CSV文件或使用多线程处理。

到此这篇关于Python实现批量CSV转Excel的高性能处理方案的文章就介绍到这了,更多相关Python批量CSV转Excel内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Pytorch上下采样函数之F.interpolate数组采样操作详解

    Pytorch上下采样函数之F.interpolate数组采样操作详解

    最近用到了上采样下采样操作,pytorch中使用interpolate可以很轻松的完成,下面这篇文章主要给大家介绍了关于Pytorch上下采样函数之F.interpolate数组采样操作的相关资料,需要的朋友可以参考下
    2022-04-04
  • Python中super()函数简介及用法分享

    Python中super()函数简介及用法分享

    本文给大家分享的是Python中的super函数的简单介绍以及用法和注意事项,有需要的小伙伴可以参考下
    2016-07-07
  • Python实现简单音频数据压缩与解压算法

    Python实现简单音频数据压缩与解压算法

    在数字信号处理中,压缩技术被广泛应用于减少文件大小或传输带宽,对于音频数据而言,通常会使用复杂的压缩算法如MP3、AAC等,但这些算法往往需要专门的库和对底层原理的理解,在这篇博客中,我们将探索一种简单的自定义压缩方法,并用Python实现它,需要的朋友可以参考下
    2025-06-06
  • 利用anaconda作为python的依赖库管理方法

    利用anaconda作为python的依赖库管理方法

    今天小编就为大家分享一篇利用anaconda作为python的依赖库管理方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • Python3爬虫学习之MySQL数据库存储爬取的信息详解

    Python3爬虫学习之MySQL数据库存储爬取的信息详解

    这篇文章主要介绍了Python3爬虫学习之MySQL数据库存储爬取的信息,涉及Python3针对mysql数据库的连接、信息存储等相关操作技巧,需要的朋友可以参考下
    2018-12-12
  • Python操作sqlite3快速、安全插入数据(防注入)的实例

    Python操作sqlite3快速、安全插入数据(防注入)的实例

    这篇文章主要介绍了Python操作sqlite3快速、安全插入数据(防注入)的实例,通过在一个表格中进行操作来论述如何使用Python快速安全地操作sqlite3,需要的朋友可以参考下
    2014-04-04
  • 浅析Python如何在Word文档中插入数学公式

    浅析Python如何在Word文档中插入数学公式

    将数学公式直接嵌入文档中,不仅能够提升文档的专业水准,还能实现公式的自动更新和动态计算,从而有效提升工作效率和内容的准确性,下面我们就来看看如何使用 Python 在 Word 文档中插入数学公式
    2025-06-06
  • OpenCV+python实现实时目标检测功能

    OpenCV+python实现实时目标检测功能

    这篇文章主要介绍了OpenCV+python实现实时目标检测功能,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-06-06
  • Python ArcPy批量掩膜、重采样大量遥感影像的操作

    Python ArcPy批量掩膜、重采样大量遥感影像的操作

    这篇文章主要介绍了Python ArcPy批量掩膜、重采样大量遥感影像,本文介绍基于Python中ArcPy模块,对大量栅格遥感影像文件进行批量掩膜与批量重采样的操作,需要的朋友可以参考下
    2023-03-03
  • pyqt6的本地环境部署(conda和vscode环境)

    pyqt6的本地环境部署(conda和vscode环境)

    本文主要介绍了pyqt6的本地环境部署(conda和vscode环境),文中通过示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2025-05-05

最新评论