Python实现批量CSV转Excel的高性能处理方案

 更新时间:2025年09月01日 09:15:54   作者:小庄-Python办公  
在日常办公中,我们经常需要将CSV格式的数据转换为Excel文件,本文将介绍一个基于Python的高性能解决方案,感兴趣的小伙伴可以跟随小编一起学习一下

一、场景需求

在日常办公中,我们经常需要将CSV格式的数据转换为Excel文件。特别是当遇到以下情况时:

需要处理数十万行的大型数据文件

要求保留原始数据格式(如数字、文本等)

需要对表头和内容应用不同的样式

需要批量转换多个CSV文件

本文将介绍一个基于Python的高性能解决方案。

二、技术方案

我们使用pyexcelerate库来实现高性能的Excel文件生成,相比传统的openpyxl或pandas,它在处理大规模数据时速度更快。

用途安装
pyexcelerateExcel写入pip install pyexcelerate -i https://pypi.tuna.tsinghua.edu.cn/simple/
os获取路径内置库无需安装
csv读写csv文件内置库无需安装

三、核心代码

核心代码

import csv
import os
import time
from pyexcelerate import Workbook, Style, Font, Fill, Color, Alignment

# 预定义表头样式
header_style = Style(
    font=Font(bold=True, size=9, color=Color(255, 255, 255), family='Arial'),
    fill=Fill(background=Color(192, 0, 0)),  # 红色背景
    alignment=Alignment(horizontal='center', vertical='center')
)

# 单元格样式(普通文本)
content_style = Style(
    font=Font(size=9, family='Arial'),
    alignment=Alignment(horizontal='center', vertical='center')
)

def csv_to_excel(csv_path, excel_path):
    """将CSV文件转换为Excel文件"""
    start_time = time.time()
    
    # 读取CSV数据
    with open(csv_path, 'r', encoding='utf-8') as csvfile:
        reader = csv.reader(csvfile)
        header = next(reader)
        data = list(reader)
    
    # 创建Excel工作簿
    wb = Workbook()
    ws = wb.new_sheet("Sheet1")
    
    # 写入数据并应用样式
    for row_idx, row_data in enumerate([header] + data, start=1):
        for col_idx, value in enumerate(row_data, start=1):
            ws.set_cell_value(row_idx, col_idx, value)
            ws.set_cell_style(row_idx, col_idx, 
                             header_style if row_idx == 1 else content_style)
    
    # 保存Excel文件
    os.makedirs(os.path.dirname(excel_path), exist_ok=True)
    wb.save(excel_path)
    
    print(f"转换完成,耗时:{time.time() - start_time:.2f}秒")
    print(f"文件已保存至:{os.path.abspath(excel_path)}")

四、批量处理方案

如果需要批量处理多个CSV文件,可以使用以下代码:

def batch_convert(csv_folder, output_folder):
    """批量转换文件夹中的所有CSV文件"""
    if not os.path.exists(output_folder):
        os.makedirs(output_folder)
    
    for filename in os.listdir(csv_folder):
        if filename.endswith('.csv'):
            csv_path = os.path.join(csv_folder, filename)
            excel_name = os.path.splitext(filename)[0] + '.xlsx'
            excel_path = os.path.join(output_folder, excel_name)
            
            print(f"正在处理: {filename}")
            csv_to_excel(csv_path, excel_path)

五、性能优化

样式预定义:提前定义好样式对象,避免重复创建

批量写入:虽然示例中是逐个单元格写入,但pyexcelerate内部已做优化

类型处理:可扩展代码自动识别数字列并转换格式

六、使用示例

if __name__ == "__main__":
    # 单文件转换
    csv_to_excel('input.csv', 'output/output.xlsx')
    
    # 批量转换
    batch_convert('csv_files', 'excel_outputs')

完整代码

import csv
import os
import time
from pyexcelerate import Workbook, Style, Font, Fill, Color, Alignment

# 预定义表头样式
header_style = Style(
    font=Font(bold=True, size=9, color=Color(255, 255, 255), family='Arial'),
    fill=Fill(background=Color(192, 0, 0)),  # 红色背景
    alignment=Alignment(horizontal='center', vertical='center')
)

# 单元格样式(普通文本)
content_style = Style(
    font=Font(size=9, family='Arial'),
    alignment=Alignment(horizontal='center', vertical='center')
)

def csv_to_excel(csv_path, excel_path):
    """将CSV文件转换为Excel文件"""
    start_time = time.time()
    
    # 读取CSV数据
    with open(csv_path, 'r', encoding='utf-8') as csvfile:
        reader = csv.reader(csvfile)
        header = next(reader)
        data = list(reader)
    
    # 创建Excel工作簿
    wb = Workbook()
    ws = wb.new_sheet("Sheet1")
    
    # 写入数据并应用样式
    for row_idx, row_data in enumerate([header] + data, start=1):
        for col_idx, value in enumerate(row_data, start=1):
            ws.set_cell_value(row_idx, col_idx, value)
            ws.set_cell_style(row_idx, col_idx, 
                             header_style if row_idx == 1 else content_style)
    
    # 保存Excel文件
    os.makedirs(os.path.dirname(excel_path), exist_ok=True)
    wb.save(excel_path)
    
    print(f"转换完成,耗时:{time.time() - start_time:.2f}秒")
    print(f"文件已保存至:{os.path.abspath(excel_path)}")
   
def batch_convert(csv_folder, output_folder):
    """批量转换文件夹中的所有CSV文件"""
    if not os.path.exists(output_folder):
        os.makedirs(output_folder)
    
    for filename in os.listdir(csv_folder):
        if filename.endswith('.csv'):
            csv_path = os.path.join(csv_folder, filename)
            excel_name = os.path.splitext(filename)[0] + '.xlsx'
            excel_path = os.path.join(output_folder, excel_name)
            
            print(f"正在处理: {filename}")
            csv_to_excel(csv_path, excel_path)
 
if __name__ == "__main__":
    # 单文件转换
    csv_to_excel('input.csv', 'output/output.xlsx')
    
    # 批量转换
    batch_convert('csv_files', 'excel_outputs')

七、小结

通过这种方法,我们可以:

  • 高效处理数十万行的大型CSV文件
  • 保持数据的原始格式
  • 应用专业的Excel样式
  • 轻松实现批量转换

对于需要处理更大数据量的场景,还可以考虑分块读取CSV文件或使用多线程处理。

到此这篇关于Python实现批量CSV转Excel的高性能处理方案的文章就介绍到这了,更多相关Python批量CSV转Excel内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 深入理解Python中的真值和假值概念

    深入理解Python中的真值和假值概念

    在 Python 中,真值和假值是布尔类型的两个唯一可能的值,本文将深入探讨 Python 中的真值和假值概念,帮助你更好地理解和运用它们,感兴趣的可以了解一下
    2023-11-11
  • Keras存在自定义loss或layer怎样解决load_model报错问题

    Keras存在自定义loss或layer怎样解决load_model报错问题

    这篇文章主要介绍了Keras存在自定义loss或layer怎样解决load_model报错问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-09-09
  • selenium+unittest实现web自动化的示例代码

    selenium+unittest实现web自动化的示例代码

    本文主要介绍了selenium+unittest实现web自动化的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • 使用pyshp包进行shapefile文件修改的例子

    使用pyshp包进行shapefile文件修改的例子

    今天小编就为大家分享一篇使用pyshp包进行shapefile文件修改的例子,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • Python 遗传算法处理TSP问题详解

    Python 遗传算法处理TSP问题详解

    遗传算法(Genetic Algorithm, GA)是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型,是一种通过模拟自然进化过程搜索最优解的方法
    2022-11-11
  • Python+Selenium实现在Geoserver批量发布Mongo矢量数据

    Python+Selenium实现在Geoserver批量发布Mongo矢量数据

    这篇文章主要为大家详细介绍了如何利用Python+Selenium实现在 Geoserver批量发布来自Mongo中的矢量数据,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一下
    2022-07-07
  • Python制作表白爱心合集

    Python制作表白爱心合集

    这篇文章主要介绍了几个表白小项目合集,有爱心表白、爱心树等。文中的示例代码讲解详细,对我们学习Python有一定的价值,需要的可以参考一下
    2022-01-01
  • Python实现压缩pdf文件大小

    Python实现压缩pdf文件大小

    工作中常需要压缩数据文件大小,压缩PDF文件是一种减少PDF文件大小的方法,这样可以使文件更易于传输和存储,本文将使用Python实现这一功能,需要的可以参考下
    2024-02-02
  • python线程里哪种模块比较适合

    python线程里哪种模块比较适合

    在本篇文章里我们给大家整理了关于python线程里哪种模块比较适合的相关知识点,需要的朋友们可以学习下。
    2020-08-08
  • tensorflow入门:tfrecord 和tf.data.TFRecordDataset的使用

    tensorflow入门:tfrecord 和tf.data.TFRecordDataset的使用

    今天小编就为大家分享一篇tensorflow入门:tfrecord 和tf.data.TFRecordDataset的使用,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01

最新评论