处理合并目录下的Excel文件数据并指定列去重

处理合并目录下的Excel文件数据并指定列去重

需求:读取指定目录下的Excel文件并给数据做合并与去重处理

Python代码实现

python 复制代码
import os
import pandas as pd
import warnings
import time
from tqdm import tqdm #进度条展示


def read_excel(path):
    dfs = []
    for file in tqdm(os.listdir(path), desc="Reading Excel Files"):
        if file.endswith(".xlsx"):
            dfs.append(pd.read_excel(os.path.join(path, file)))
    return pd.concat(dfs, ignore_index=True)


if __name__ == '__main__':
    start_time = time.time()
    print("程序开始时间:", time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(start_time)))
    warnings.filterwarnings('ignore')

    file_path = '策略列表'
    file_names = os.listdir(file_path)

    # 打印所有文件名
    for file_name in file_names:
        print(file_name)

    path = r"策略列表"
    print("正在合并表...")
    df = read_excel(path)
    # 根据账号去重数据
    df.drop_duplicates(subset='账号', inplace=True)
    df.to_excel("py合并后数据/合并策略数据-1207.xlsx", sheet_name='Sheet0', header=True, index=False)
    print("合并成功")

    end_time = time.time()
    print("程序结束时间:", time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(end_time)))
    run_time = end_time - start_time
    print("程序运行耗时:%0.2f" % run_time, "s")
相关推荐
是main不是漫26 分钟前
【快慢指针 | LeetCode202 快乐数】鸽巢原理佐证环特性,快慢指针巧解快乐数
c语言·开发语言·c++·算法
Wellijohn2 小时前
我把公司内部的 12 个 CRUD 接口交给了 AI Agent,然后省出了两周
人工智能·python·mcp
布莱克6052 小时前
Swift 方法详解:实例方法、类型方法与 mutating 机制
服务器·开发语言·ios·ssh·swift·方法
2601_967980113 小时前
python pytest怎样测试代码
python·pytest·测试·文档·断言
伞伞悦读4 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习
Risehuxyc4 小时前
PHP能不能在参数里放匿名函数
开发语言·php
码云社区4 小时前
Java家政服务系统源码:人员技能、服务范围与多商家业务落地
java·开发语言·家政服务·家政小程序·家政系统
ch6234 小时前
🚀 从零构建本地文档智能审查 Agent:Vibe Coding 实战指南
python
FRing035 小时前
vue3干货总结3(defineOptions(Vue3.3)、defineModel(Vue3.4)、Pinia)
开发语言·前端·vue.js·vue3
摇滚侠5 小时前
《On Java 中文版 基础卷》阅读笔记 接口 18
java·笔记·python