Python实现一键合并多文件夹下百份Excel自动汇总至总表

pip install pandas openpyxl

import os
import pandas as pd
from pathlib import Path

def merge_excel_files(source_dir, output_file="总表汇总.xlsx"):
    """
    遍历指定目录下所有子文件夹中的 Excel 文件，合并为一张总表

    参数:
        source_dir: 包含 Excel 文件的根目录路径
        output_file: 输出汇总文件的文件名
    """
    all_dataframes = []  # 存储所有读取到的 DataFrame
    file_count = 0       # 统计处理的文件数

    # 将路径转为 Path 对象，方便操作
    root_path = Path(source_dir)

    if not root_path.exists():
        print(f"错误：目录 {source_dir} 不存在！")
        return

    # os.walk 递归遍历所有子文件夹
    for dirpath, dirnames, filenames in os.walk(source_dir):
        for filename in filenames:
            # 只处理 .xlsx 和 .xls 文件
            if filename.endswith(('.xlsx', '.xls')) and not filename.startswith('~$'):
                file_path = os.path.join(dirpath, filename)
                file_count += 1

                try:
                    # 读取 Excel 文件（默认读取第一个 sheet）
                    df = pd.read_excel(file_path, engine='openpyxl' if filename.endswith('.xlsx') else 'xlrd')

                    # 可选：添加一列来源信息，记录数据来自哪个文件
                    df['数据来源文件'] = filename
                    df['数据来源路径'] = dirpath

                    all_dataframes.append(df)
                    print(f"[{file_count}] 已读取: {filename}")

                except Exception as e:
                    print(f"[{file_count}] 读取失败 {filename}: {e}")

    if not all_dataframes:
        print("没有找到任何 Excel 文件！")
        return

    # 将所有 DataFrame 纵向拼接（按行合并）
    print("\n正在合并所有数据...")
    merged_df = pd.concat(all_dataframes, ignore_index=True)

    # 导出为新的 Excel 文件
    merged_df.to_excel(output_file, index=False, engine='openpyxl')

    print(f"\n合并完成！")
    print(f"共处理 {file_count} 个文件")
    print(f"总数据行数: {len(merged_df)}")
    print(f"总数据列数: {len(merged_df.columns)}")
    print(f"汇总文件已保存: {output_file}")


# ==================== 使用示例 ====================
if __name__ == "__main__":
    # 修改这里为你的数据文件夹路径
    SOURCE_DIR = r"D:\数据源"

    # 执行合并
    merge_excel_files(SOURCE_DIR, output_file="总表汇总.xlsx")

import os
import pandas as pd
from pathlib import Path

for dirpath, dirnames, filenames in os.walk(source_dir):

if filename.endswith(('.xlsx', '.xls')) and not filename.startswith('~$'):

df = pd.read_excel(file_path, engine='openpyxl')
df['数据来源文件'] = filename
df['数据来源路径'] = dirpath

merged_df = pd.concat(all_dataframes, ignore_index=True)

merged_df.to_excel(output_file, index=False, engine='openpyxl')

df = pd.read_excel(file_path, sheet_name="Sheet1", engine='openpyxl')

all_sheets = pd.read_excel(file_path, sheet_name=None, engine='openpyxl')
for sheet_name, sheet_df in all_sheets.items():
    sheet_df['来源Sheet'] = sheet_name
    all_dataframes.append(sheet_df)

# 定义统一列名映射
COLUMN_MAP = {
    '姓名': '姓名',
    '员工姓名': '姓名',
    'Name': '姓名',
    '部门': '部门',
    '所属部门': '部门',
    '金额': '金额',
    '金额(元)': '金额',
}

# 读取后统一列名
df = pd.read_excel(file_path)
df.rename(columns=COLUMN_MAP, inplace=True)

from tqdm import tqdm

for dirpath, dirnames, filenames in tqdm(os.walk(source_dir), desc="扫描文件夹"):
    for filename in filenames:
        # ... 处理逻辑

desired_columns = ['姓名', '部门', '金额', '日期', '数据来源文件', '数据来源路径']
merged_df = merged_df[desired_columns]

if df.empty:
    print(f"警告: {filename} 为空，跳过")
    continue

if filename.endswith('.csv'):
    df = pd.read_csv(file_path, encoding='utf-8-sig')