处理合并目录下的Excel文件数据并指定列去重

处理合并目录下的Excel文件数据并指定列去重

需求:读取指定目录下的Excel文件并给数据做合并与去重处理

Python代码实现

python 复制代码
import os
import pandas as pd
import warnings
import time
from tqdm import tqdm #进度条展示


def read_excel(path):
    dfs = []
    for file in tqdm(os.listdir(path), desc="Reading Excel Files"):
        if file.endswith(".xlsx"):
            dfs.append(pd.read_excel(os.path.join(path, file)))
    return pd.concat(dfs, ignore_index=True)


if __name__ == '__main__':
    start_time = time.time()
    print("程序开始时间:", time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(start_time)))
    warnings.filterwarnings('ignore')

    file_path = '策略列表'
    file_names = os.listdir(file_path)

    # 打印所有文件名
    for file_name in file_names:
        print(file_name)

    path = r"策略列表"
    print("正在合并表...")
    df = read_excel(path)
    # 根据账号去重数据
    df.drop_duplicates(subset='账号', inplace=True)
    df.to_excel("py合并后数据/合并策略数据-1207.xlsx", sheet_name='Sheet0', header=True, index=False)
    print("合并成功")

    end_time = time.time()
    print("程序结束时间:", time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(end_time)))
    run_time = end_time - start_time
    print("程序运行耗时:%0.2f" % run_time, "s")
相关推荐
yz_aiks1 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
琳少_2 小时前
java程序开发笔记
java·开发语言·数据库·笔记
七夜zippoe2 小时前
Agent 告警设计:分级告警、智能降噪与值班排班
开发语言·ai·agent·告警·智能降噪·值班排班
2601_967980113 小时前
Flask Web 应用
python·flask·web开发·环境变量·虚拟环境
aifannihao3 小时前
ß 大写变 SS:用 Python 算清 Ruby2Shell 的缓冲区账本
python·安全·标准库·缓冲区溢出·字符串编码
liwulin05063 小时前
【OLLAMA】调用SKILL的通用ReAct
python
严肃小白兔4 小时前
PHP 8.6 正式发布:部分函数应用、原生 I/O 轮询与新特性实战解析
开发语言·php
郝学胜-神的一滴4 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
Norna5 小时前
Git 给路径加了引号,这个文件就从 review 里消失了
python
wuyk5556 小时前
Python办公自动化-第04讲-批量新建Excel
开发语言·python·excel