当处理大型数据集时,通常需要将数据分组,并将每个分组的数据保存到单独的文件中。下面是一个使用 Python 中的 pandas 库来实现这一目标的示例代码。
步骤 1: 导入所需的库
import os
import pandas as pd
步骤 2: 读取 Excel 数据
# 读取 Excel 数据
df = pd.read_excel("C:\\Users\\liuchunlin2\\Desktop\\新建XLSX 工作表.xlsx")
步骤 3: 根据指定字段分组数据
# 根据学校、班级、老师字段分组
grouped = df.groupby(['学校', '班级', '老师'])
步骤 4: 创建保存拆分数据的文件夹
# 新建文件夹路径
folder_path = "C:\\Users\\liuchunlin2\\Desktop\\拆分数据"
os.makedirs(folder_path, exist_ok=True) # 检查文件夹是否存在,若不存在则创建
步骤 5: 遍历分组数据并保存到不同的 Excel 文件中
# 遍历分组,并将每个分组的数据保存到不同的 Excel 文件中
for name, group in grouped:
school, grade, teacher = name
filename = f"{school}_{grade}_{teacher}.xlsx"
file_path = os.path.join(folder_path, filename)
group.to_excel(file_path, index=False)
创建一个简单的图形用户界面,用于选择 Excel 文件并指定分组列,然后将数据按照分组保存到不同的 Excel 文件中
步骤 1: 导入所需的库
import tkinter as tk # 导入 tkinter 模块,用于创建图形用户界面
from tkinter import filedialog # 导入 filedialog 子模块,用于打开文件对话框
import pandas as pd # 导入 pandas 库,用于数据处理
import os # 导入 os 模块,用于文件和目录操作
步骤 2: 定义函数,用于打开文件对话框并选择 Excel 文件路径
def browse_file():
# 打开文件对话框,限定文件类型为 Excel 文件 (*.xlsx)
filepath = filedialog.askopenfilename(filetypes=[("Excel files", "*.xlsx")])
# 清空文件路径输入框,并将选定的文件路径插入到输入框中
file_entry.delete(0, tk.END)
file_entry.insert(0, filepath)
步骤 3: 定义函数,用于处理数据并将其按指定列分组保存为多个 Excel 文件
def process_data():
# 获取输入文件路径和需要分组的列名
input_file = file_entry.get()
group_columns = [column_entry.get() for column_entry in column_entries if column_entry.get()]
# 检查输入是否完整
if not input_file or not group_columns:
result_label.config(text="Please provide input file path and group columns.")
return
try:
# 读取 Excel 文件为 DataFrame,并按指定列进行分组
df = pd.read_excel(input_file)
grouped = df.groupby(group_columns)
# 创建用于存储分组数据的文件夹
folder_name = "Splitted_Data"
if not os.path.exists(folder_name):
os.makedirs(folder_name)
# 将每个分组的数据保存为单独的 Excel 文件
for name, group in grouped:
filename = f"{folder_name}/{'_'.join(name)}.xlsx"
group.to_excel(filename, index=False)
result_label.config(text="Data processing completed successfully.")
except Exception as e:
result_label.config(text=f"Error occurred: {str(e)}")
步骤 4: 创建 tkinter 窗口对象并设置标题
root = tk.Tk()
root.title("Excel Data Grouping Tool") # 设置窗口标题
步骤 5: 创建标签和输入框,用于显示和输入 Excel 文件路径
file_label = tk.Label(root, text="Excel File Path:")
file_label.grid(row=0, column=0, padx=5, pady=5, sticky="w")
file_entry = tk.Entry(root, width=50)
file_entry.grid(row=0, column=1, padx=5, pady=5, sticky="we")
browse_button = tk.Button(root, text="Browse", command=browse_file)
browse_button.grid(row=0, column=2, padx=5, pady=5)
步骤 6: 创建标签、输入框和按钮,用于指定分组列名
column_label = tk.Label(root, text="Group Columns:")
column_label.grid(row=1, column=0, padx=5, pady=5, sticky="w")
column_entry = tk.Entry(root, width=50)
column_entry.grid(row=1, column=1, padx=5, pady=5, sticky="we")
column_entries = [column_entry]
add_column_button = tk.Button(root, text="Add Column", command=lambda: add_column_entry())
add_column_button.grid(row=1, column=2, padx=5, pady=5)
步骤 7: 创建函数,用于添加新的分组列输入框
def add_column_entry():
new_column_entry = tk.Entry(root, width=50)
new_column_entry.grid(row=len(column_entries) + 1, column=1, padx=5, pady=5, sticky="we")
column_entries.append(new_column_entry)
步骤 8: 创建按钮,用于处理数据
process_button = tk.Button(root, text="Process Data", command=process_data)
process_button.grid(row=2, column=2, padx=5, pady=10, sticky="e") # 调整位置至右侧
步骤 9: 创建标签,用于显示处理结果信息
result_label = tk.Label(root, text="")
result_label.grid(row=len(column_entries) + 3, column=0, columnspan=3, padx=5, pady=5)
步骤 10: 启动主事件循环
root.mainloop()
完整代码:
import tkinter as tk # 导入 tkinter 模块,用于创建图形用户界面
from tkinter import filedialog # 导入 filedialog 子模块,用于打开文件对话框
import pandas as pd # 导入 pandas 库,用于数据处理
import os # 导入 os 模块,用于文件和目录操作
# 定义函数,用于打开文件对话框并选择 Excel 文件路径
def browse_file():
# 打开文件对话框,限定文件类型为 Excel 文件 (*.xlsx)
filepath = filedialog.askopenfilename(filetypes=[("Excel files", "*.xlsx")])
# 清空文件路径输入框,并将选定的文件路径插入到输入框中
file_entry.delete(0, tk.END)
file_entry.insert(0, filepath)
# 定义函数,用于处理数据并将其按指定列分组保存为多个 Excel 文件
def process_data():
# 获取输入文件路径和需要分组的列名
input_file = file_entry.get()
group_columns = [column_entry.get() for column_entry in column_entries if column_entry.get()]
# 检查输入是否完整
if not input_file or not group_columns:
result_label.config(text="Please provide input file path and group columns.")
return
try:
# 读取 Excel 文件为 DataFrame,并按指定列进行分组
df = pd.read_excel(input_file)
grouped = df.groupby(group_columns)
# 创建用于存储分组数据的文件夹
folder_name = "Splitted_Data"
if not os.path.exists(folder_name):
os.makedirs(folder_name)
# 将每个分组的数据保存为单独的 Excel 文件
for name, group in grouped:
filename = f"{folder_name}/{'_'.join(name)}.xlsx"
group.to_excel(filename, index=False)
result_label.config(text="Data processing completed successfully.")
except Exception as e:
result_label.config(text=f"Error occurred: {str(e)}")
# 创建 tkinter 窗口对象
root = tk.Tk()
root.title("Excel Data Grouping Tool") # 设置窗口标题
# 创建标签和输入框,用于显示和输入 Excel 文件路径
file_label = tk.Label(root, text="Excel File Path:")
file_label.grid(row=0, column=0, padx=5, pady=5, sticky="w")
file_entry = tk.Entry(root, width=50)
file_entry.grid(row=0, column=1, padx=5, pady=5, sticky="we")
browse_button = tk.Button(root, text="Browse", command=browse_file)
browse_button.grid(row=0, column=2, padx=5, pady=5)
# 创建标签、输入框和按钮,用于指定分组列名
column_label = tk.Label(root, text="Group Columns:")
column_label.grid(row=1, column=0, padx=5, pady=5, sticky="w")
column_entry = tk.Entry(root, width=50)
column_entry.grid(row=1, column=1, padx=5, pady=5, sticky="we")
column_entries = [column_entry]
add_column_button = tk.Button(root, text="Add Column", command=lambda: add_column_entry())
add_column_button.grid(row=1, column=2, padx=5, pady=5)
# 创建函数,用于添加新的分组列输入框
def add_column_entry():
new_column_entry = tk.Entry(root, width=50)
new_column_entry.grid(row=len(column_entries) + 1, column=1, padx=5, pady=5, sticky="we")
column_entries.append(new_column_entry)
# 创建按钮,用于处理数据
process_button = tk.Button(root, text="Process Data", command=process_data)
process_button.grid(row=2, column=2, padx=5, pady=10, sticky="e") # 调整位置至右侧
# 创建标签,用于显示处理结果信息
result_label = tk.Label(root, text="")
result_label.grid(row=len(column_entries) + 3, column=0, columnspan=3, padx=5, pady=5)
# 启动主事件循环
root.mainloop()