Python处理超大Excel文件(GB级)的完全指南

pip install pandas openpyxl

pip install polars fastexcel

import pandas as pd

# 设定文件路径
file_path = 'sales_data.xlsx'

# 设定每块读取的行数，例如每次读 10,000 行
chunk_size = 10000

# 初始化一个变量来存储总销售额
total_sales = 0

print("开始处理数据...")

# 使用 context manager (with 语句) 读取文件
# engine='openpyxl' 是读取 xlsx 文件的标准引擎
with pd.read_excel(file_path, chunksize=chunk_size, engine='openpyxl') as reader:
    # reader 是一个迭代器，我们通过循环每次拿出一块(chunk)
    for i, chunk in enumerate(reader):
        # chunk 就是一个小型的 DataFrame，只包含 10,000 行数据
        
        # 假设我们要汇总 'Amount' 这一列
        chunk_sum = chunk['Amount'].sum()
        total_sales += chunk_sum
        
        # 打印进度（可选）
        print(f"正在处理第 {i+1} 块数据，当前块总额: {chunk_sum}")

print(f"处理完成！所有订单的总销售额为: {total_sales}")

import pandas as pd

# usecols 参数指定我们需要的列名或索引
# 假设我们只需要 'Date', 'Product', 'Amount' 这三列
needed_columns = ['Date', 'Product', 'Amount']

print("正在读取特定列...")

df = pd.read_excel('sales_data.xlsx', usecols=needed_columns, engine='openpyxl')

print("读取成功！")
print(df.head()) # 查看前5行

import pandas as pd
import os

file_path = 'sales_data.xlsx'
parquet_file = 'sales_data.parquet'
chunk_size = 50000

# 如果文件存在先删除，避免追加重复数据
if os.path.exists(parquet_file):
    os.remove(parquet_file)

print("正在进行格式转换...")

with pd.read_excel(file_path, chunksize=chunk_size, engine='openpyxl') as reader:
    for i, chunk in enumerate(reader):
        # 将每一块追加写入 Parquet 文件
        # 注意：首次写入需要创建，后续是追加。
        # 这里为了演示简单，我们使用 fastparquet 或 pyarrow
        # 但追加写入 Parquet 稍微复杂，初学者建议先转 CSV 再转 Parquet
        # 下面演示最通用的：转为 CSV
        
        mode = 'a' if i > 0 else 'w' # 第一次是写入(w)，之后是追加(a)
        header = (i == 0) # 只有第一块需要写表头
        
        chunk.to_csv('sales_data.csv', mode=mode, header=header, index=False)
        print(f"已转换第 {i+1} 块")

print("转换完成！现在你可以飞快地读取 CSV 了。")

# 读取 CSV 比 Excel 快得多
df = pd.read_csv('sales_data.csv')
print("数据加载完毕！")

import polars as pl

print("使用 Polars 引擎启动...")

# Polars 读取 Excel 通常比 Pandas 快，因为它支持多线程
# 且它具有 'Lazy API' (惰性计算) 的特性
df = pl.read_excel("sales_data.xlsx")

# 进行一些聚合计算
result = df.select(
    pl.col("Amount").sum()
)

print(result)