使用python完成excel文件的合并,并完成简单的数据统计

Python脚本实现了以下功能:

  1. 合并多个Excel文件 :脚本遍历当前目录下的所有.xlsx文件,读取每个文件的内容并合并到一个大的DataFrame中,然后将合并后的数据写入到名为combined_data.xlsx的新文件中。

  2. 统计指定列的重复值 :读取刚刚合并的combined_data.xlsx文件,检查其中的某一列(在这个例子中为攻击类型)是否存在且数据类型为字符串。如果条件满足,则统计该列中不同文本的出现次数,并将重复值及其出现次数按照降序排列。最后,将统计结果写入同一个Excel文件的第二个工作表(Sheet2)中。

注意事项: 以下代码使用了 openpyxlpandas这两个第三方库 ,使用以下命令获取。

复制代码
pip install openpyxl
pip install pandas
python 复制代码
import os
import openpyxl
import pandas as pd

# 获取当前脚本所在目录
script_dir = os.path.dirname(__file__)
output_file = os.path.join(script_dir, 'combined_data.xlsx')

# 合并当前目录下所有xlsx文件
current_directory = os.getcwd()
file_list = [os.path.join(current_directory, f) for f in os.listdir(current_directory) if f.endswith('.xlsx')]

# 初始化一个空列表来存储所有数据帧
data_frames = []

# 逐个读取xlsx文件并合并
for file in file_list:
    df = pd.read_excel(file)
    data_frames.append(df)

# 合并所有数据帧
combined_df = pd.concat(data_frames, ignore_index=True)

# 将合并后的数据写入新创建的xlsx文件中
combined_df.to_excel(output_file, index=False)

# 检查并处理列名为'攻击类型'的列
target_column = '攻击类型'
if target_column in combined_df.columns and combined_df[target_column].dtype == 'object':
    # 统计该列总行数
    total_rows = combined_df.shape[0]

    # 去除重复值并计算重复次数
    duplicates = combined_df[target_column].duplicated(keep=False)
    duplicate_counts = combined_df[duplicates][target_column].value_counts().reset_index()
    duplicate_counts.columns = [target_column, 'occurrences']

    # 按照重复次数降序排列
    duplicate_counts = duplicate_counts.sort_values(by='occurrences', ascending=False)

    # 新增Sheet2
    with pd.ExcelWriter(output_file, engine='openpyxl', mode='a') as writer:
        writer.book = openpyxl.load_workbook(output_file)
        duplicate_counts.to_excel(writer, sheet_name='Sheet2', index=False)
    print(f"{target_column}重复数据已写入到{output_file}的Sheet2中。")
else:
    print(f"{target_column}不存在或不是字符串类型,请检查数据")

print(f"总行数: {total_rows}")
相关推荐
了一li几秒前
C#中用 OxyPlot 在 WinForms 实现波形图可视化(附源码教程)
开发语言·c#
Psycho_MrZhang15 分钟前
Pytorch 反向传播
人工智能·pytorch·python
时光话16 分钟前
Lua 第14部分 数据结构
开发语言·数据结构·lua
晚上不睡觉的周某人29 分钟前
Java应用7(类集)
java·开发语言·windows
码银32 分钟前
Java Stream流
java·开发语言
杜子腾dd38 分钟前
8.Excel:数据验证和下拉列表
数据分析·excel
这里有鱼汤1 小时前
别怪 Python 慢,是你 import 的姿势不对!我亲测提速 3~5 倍
后端·python
hyhrosewind1 小时前
Python数据容器:数据容器的分类、数据容器特点总结、各数据容器遍历的特点、数据容器通用操作(统计,转换,排序)
python·数据容器的分类·各数据容器的特点·各数据容器的遍历·数据容器的通用操作·统计,转换,排序
灏瀚星空1 小时前
从基础到实战的量化交易全流程学习:1.3 数学与统计学基础——线性代数与矩阵运算 | 矩阵基础
笔记·python·学习·线性代数·数学建模·金融·矩阵
Amctwd1 小时前
【LLM】解析RAG增强检索技术:原理、实现与应用
python