处理合并目录下的Excel文件数据并指定列去重

处理合并目录下的Excel文件数据并指定列去重

需求:读取指定目录下的Excel文件并给数据做合并与去重处理

Python代码实现

python 复制代码
import os
import pandas as pd
import warnings
import time
from tqdm import tqdm #进度条展示


def read_excel(path):
    dfs = []
    for file in tqdm(os.listdir(path), desc="Reading Excel Files"):
        if file.endswith(".xlsx"):
            dfs.append(pd.read_excel(os.path.join(path, file)))
    return pd.concat(dfs, ignore_index=True)


if __name__ == '__main__':
    start_time = time.time()
    print("程序开始时间:", time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(start_time)))
    warnings.filterwarnings('ignore')

    file_path = '策略列表'
    file_names = os.listdir(file_path)

    # 打印所有文件名
    for file_name in file_names:
        print(file_name)

    path = r"策略列表"
    print("正在合并表...")
    df = read_excel(path)
    # 根据账号去重数据
    df.drop_duplicates(subset='账号', inplace=True)
    df.to_excel("py合并后数据/合并策略数据-1207.xlsx", sheet_name='Sheet0', header=True, index=False)
    print("合并成功")

    end_time = time.time()
    print("程序结束时间:", time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(end_time)))
    run_time = end_time - start_time
    print("程序运行耗时:%0.2f" % run_time, "s")
相关推荐
川石课堂软件测试2 分钟前
全链路Controller压测负载均衡
android·运维·开发语言·python·mysql·adb·负载均衡
喜欢吃豆13 分钟前
微调高级推理大模型(COT)的综合指南:从理论到实践
人工智能·python·语言模型·大模型·微调·强化学习·推理模型
杨福瑞20 分钟前
C语言⽂件操作讲解(总)
c语言·开发语言
喜欢吃豆1 小时前
从指令遵循到价值对齐:医疗大语言模型的进阶优化、对齐与工具集成综合技术白皮书
人工智能·python·语言模型·自然语言处理·大模型·强化学习·constitutional
Access开发易登软件1 小时前
Access调用Azure翻译:轻松实现系统多语言切换
后端·python·低代码·flask·vba·access·access开发
yumgpkpm1 小时前
CMP (类Cloudera) CDP7.3(400次编译)在华为鲲鹏Aarch64(ARM)信创环境中的性能测试过程及命令
大数据·hive·hadoop·python·elasticsearch·spark·cloudera
hz_zhangrl2 小时前
CCF-GESP 等级考试 2025年9月认证C++四级真题解析
开发语言·c++·算法·程序设计·gesp·c++四级·gesp2025年9月
代码小菜鸡6662 小时前
java 常用的一些数据结构
java·数据结构·python
止水编程 water_proof2 小时前
Java--网络编程(二)
java·开发语言·网络
润 下2 小时前
C语言——深入解析C语言指针:从基础到实践从入门到精通(三)
c语言·开发语言·经验分享·笔记·学习·程序人生·其他