使用Python实现分组数据并保存到单独的文件中

更新时间：2024年04月09日 08:17:33 作者：悬崖上的金鱼

当处理大型数据集时,通常需要将数据分组,并将每个分组的数据保存到单独的文件中,本文将使用 Python 中的 pandas 库来实现这一目标,需要的可以参考下

Python分组数据并保存到单独的文件中

步骤 1: 导入所需的库

import os
import pandas as pd

步骤 2: 读取 Excel 数据

# 读取 Excel 数据
df = pd.read_excel("C:\\Users\\liuchunlin2\\Desktop\\新建XLSX 工作表.xlsx")

步骤 3: 根据指定字段分组数据

# 根据学校、班级、老师字段分组
grouped = df.groupby(['学校', '班级', '老师'])

步骤 4: 创建保存拆分数据的文件夹

# 新建文件夹路径
folder_path = "C:\\Users\\liuchunlin2\\Desktop\\拆分数据"
os.makedirs(folder_path, exist_ok=True)  # 检查文件夹是否存在，若不存在则创建

步骤 5: 遍历分组数据并保存到不同的 Excel 文件中

# 遍历分组，并将每个分组的数据保存到不同的 Excel 文件中
for name, group in grouped:
    school, grade, teacher = name
    filename = f"{school}_{grade}_{teacher}.xlsx"
    file_path = os.path.join(folder_path, filename)
    group.to_excel(file_path, index=False)

创建一个简单的图形用户界面，用于选择 Excel 文件并指定分组列，然后将数据按照分组保存到不同的 Excel 文件中

步骤 1: 导入所需的库

import tkinter as tk  # 导入 tkinter 模块，用于创建图形用户界面
from tkinter import filedialog  # 导入 filedialog 子模块，用于打开文件对话框
import pandas as pd  # 导入 pandas 库，用于数据处理
import os  # 导入 os 模块，用于文件和目录操作

步骤 2: 定义函数，用于打开文件对话框并选择 Excel 文件路径

def browse_file():
    # 打开文件对话框，限定文件类型为 Excel 文件 (*.xlsx)
    filepath = filedialog.askopenfilename(filetypes=[("Excel files", "*.xlsx")])
    # 清空文件路径输入框，并将选定的文件路径插入到输入框中
    file_entry.delete(0, tk.END)
    file_entry.insert(0, filepath)

步骤 3: 定义函数，用于处理数据并将其按指定列分组保存为多个 Excel 文件

def process_data():
    # 获取输入文件路径和需要分组的列名
    input_file = file_entry.get()
    group_columns = [column_entry.get() for column_entry in column_entries if column_entry.get()]

    # 检查输入是否完整
    if not input_file or not group_columns:
        result_label.config(text="Please provide input file path and group columns.")
        return

    try:
        # 读取 Excel 文件为 DataFrame，并按指定列进行分组
        df = pd.read_excel(input_file)
        grouped = df.groupby(group_columns)

        # 创建用于存储分组数据的文件夹
        folder_name = "Splitted_Data"
        if not os.path.exists(folder_name):
            os.makedirs(folder_name)

        # 将每个分组的数据保存为单独的 Excel 文件
        for name, group in grouped:
            filename = f"{folder_name}/{'_'.join(name)}.xlsx"
            group.to_excel(filename, index=False)

        result_label.config(text="Data processing completed successfully.")
    except Exception as e:
        result_label.config(text=f"Error occurred: {str(e)}")

步骤 4: 创建 tkinter 窗口对象并设置标题

root = tk.Tk()
root.title("Excel Data Grouping Tool")  # 设置窗口标题

步骤 5: 创建标签和输入框，用于显示和输入 Excel 文件路径

file_label = tk.Label(root, text="Excel File Path:")
file_label.grid(row=0, column=0, padx=5, pady=5, sticky="w")
file_entry = tk.Entry(root, width=50)
file_entry.grid(row=0, column=1, padx=5, pady=5, sticky="we")
browse_button = tk.Button(root, text="Browse", command=browse_file)
browse_button.grid(row=0, column=2, padx=5, pady=5)

步骤 6: 创建标签、输入框和按钮，用于指定分组列名

column_label = tk.Label(root, text="Group Columns:")
column_label.grid(row=1, column=0, padx=5, pady=5, sticky="w")
column_entry = tk.Entry(root, width=50)
column_entry.grid(row=1, column=1, padx=5, pady=5, sticky="we")
column_entries = [column_entry]

add_column_button = tk.Button(root, text="Add Column", command=lambda: add_column_entry())
add_column_button.grid(row=1, column=2, padx=5, pady=5)

步骤 7: 创建函数，用于添加新的分组列输入框

def add_column_entry():
    new_column_entry = tk.Entry(root, width=50)
    new_column_entry.grid(row=len(column_entries) + 1, column=1, padx=5, pady=5, sticky="we")
    column_entries.append(new_column_entry)

步骤 8: 创建按钮，用于处理数据

process_button = tk.Button(root, text="Process Data", command=process_data)
process_button.grid(row=2, column=2, padx=5, pady=10, sticky="e")  # 调整位置至右侧

步骤 9: 创建标签，用于显示处理结果信息

result_label = tk.Label(root, text="")
result_label.grid(row=len(column_entries) + 3, column=0, columnspan=3, padx=5, pady=5)

步骤 10: 启动主事件循环

root.mainloop()

完整代码

import tkinter as tk  # 导入 tkinter 模块，用于创建图形用户界面
from tkinter import filedialog  # 导入 filedialog 子模块，用于打开文件对话框
import pandas as pd  # 导入 pandas 库，用于数据处理
import os  # 导入 os 模块，用于文件和目录操作

# 定义函数，用于打开文件对话框并选择 Excel 文件路径
def browse_file():
    # 打开文件对话框，限定文件类型为 Excel 文件 (*.xlsx)
    filepath = filedialog.askopenfilename(filetypes=[("Excel files", "*.xlsx")])
    # 清空文件路径输入框，并将选定的文件路径插入到输入框中
    file_entry.delete(0, tk.END)
    file_entry.insert(0, filepath)

# 定义函数，用于处理数据并将其按指定列分组保存为多个 Excel 文件
def process_data():
    # 获取输入文件路径和需要分组的列名
    input_file = file_entry.get()
    group_columns = [column_entry.get() for column_entry in column_entries if column_entry.get()]

    # 检查输入是否完整
    if not input_file or not group_columns:
        result_label.config(text="Please provide input file path and group columns.")
        return

    try:
        # 读取 Excel 文件为 DataFrame，并按指定列进行分组
        df = pd.read_excel(input_file)
        grouped = df.groupby(group_columns)

        # 创建用于存储分组数据的文件夹
        folder_name = "Splitted_Data"
        if not os.path.exists(folder_name):
            os.makedirs(folder_name)

        # 将每个分组的数据保存为单独的 Excel 文件
        for name, group in grouped:
            filename = f"{folder_name}/{'_'.join(name)}.xlsx"
            group.to_excel(filename, index=False)

        result_label.config(text="Data processing completed successfully.")
    except Exception as e:
        result_label.config(text=f"Error occurred: {str(e)}")

# 创建 tkinter 窗口对象
root = tk.Tk()
root.title("Excel Data Grouping Tool")  # 设置窗口标题

# 创建标签和输入框，用于显示和输入 Excel 文件路径
file_label = tk.Label(root, text="Excel File Path:")
file_label.grid(row=0, column=0, padx=5, pady=5, sticky="w")
file_entry = tk.Entry(root, width=50)
file_entry.grid(row=0, column=1, padx=5, pady=5, sticky="we")
browse_button = tk.Button(root, text="Browse", command=browse_file)
browse_button.grid(row=0, column=2, padx=5, pady=5)

# 创建标签、输入框和按钮，用于指定分组列名
column_label = tk.Label(root, text="Group Columns:")
column_label.grid(row=1, column=0, padx=5, pady=5, sticky="w")
column_entry = tk.Entry(root, width=50)
column_entry.grid(row=1, column=1, padx=5, pady=5, sticky="we")
column_entries = [column_entry]

add_column_button = tk.Button(root, text="Add Column", command=lambda: add_column_entry())
add_column_button.grid(row=1, column=2, padx=5, pady=5)

# 创建函数，用于添加新的分组列输入框
def add_column_entry():
    new_column_entry = tk.Entry(root, width=50)
    new_column_entry.grid(row=len(column_entries) + 1, column=1, padx=5, pady=5, sticky="we")
    column_entries.append(new_column_entry)

# 创建按钮，用于处理数据
process_button = tk.Button(root, text="Process Data", command=process_data)
process_button.grid(row=2, column=2, padx=5, pady=10, sticky="e")  # 调整位置至右侧

# 创建标签，用于显示处理结果信息
result_label = tk.Label(root, text="")
result_label.grid(row=len(column_entries) + 3, column=0, columnspan=3, padx=5, pady=5)

# 启动主事件循环
root.mainloop()

以上就是使用Python实现分组数据并保存到单独的文件中的详细内容，更多关于Python分组数据的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

Python Pandas读取Excel日期数据的异常处理方法
Excel文件是传统的数据格式,但面对海量数据时,用编程的方法来处理数据更有优势,下面这篇文章主要给大家介绍了关于Python Pandas读取Excel日期数据的异常处理方法,需要的朋友可以参考下
2022-02-02
python中的django是做什么的
在本篇文章里小编给大家整理了关于python中的django作用以及相关基础知识点，需要的朋友们学习下。
2020-07-07
一行Python代码实现为图片上版权
不知道大家会不会遇到这样的情况，自己辛辛苦苦整理的攻略，分享给自己的一些朋友，结果分享有人堂而皇之地拿着这份攻略图片去引流，并声称是自己整理的，真是岂有此理！本文就来用Python实现为图片上版权，需要的可以参考一下
2023-01-01
Python PyPDF2模块安装使用解析
这篇文章主要介绍了Python PyPDF2模块安装使用解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-01-01
python kmeans聚类简单介绍和实现代码
这篇文章主要为大家详细介绍了python kmeans聚类简单介绍和实现代码，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-02-02
浅谈pytorch池化maxpool2D注意事项
今天小编就为大家分享一篇浅谈pytorch池化maxpool2D注意事项，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-02-02
conda将python低版本环境升级到高版本的完整步骤
这篇文章主要给大家介绍了关于conda将python低版本环境升级到高版本的完整步骤,包括激活环境、升级Python版本、验证升级、处理依赖问题和测试环境等步骤,文中通过代码介绍的非常详细,需要的朋友可以参考下
2025-04-04
Python并发编程多进程,多线程及GIL全局解释器锁
这篇文章主要介绍了Python并发编程多进程,多线程及GIL全局解释器锁,文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的朋友可以参考一下
2022-07-07
Python使用Chrome插件实现爬虫过程图解
这篇文章主要介绍了Python使用Chrome插件实现爬虫,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-06-06
Python实现归一化算法详情
这篇文章主要介绍了Python实现归一化算法，归一化算法Normalization将数据处理成量纲一直的数据，一般在进行建模的时候需要进行数据归一化处理，下文详细内容，需要的小伙伴可以参考一下
2022-03-03

使用Python实现分组数据并保存到单独的文件中

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具