处理合并目录下的Excel文件数据并指定列去重

处理合并目录下的Excel文件数据并指定列去重

需求:读取指定目录下的Excel文件并给数据做合并与去重处理

Python代码实现

python 复制代码
import os
import pandas as pd
import warnings
import time
from tqdm import tqdm #进度条展示


def read_excel(path):
    dfs = []
    for file in tqdm(os.listdir(path), desc="Reading Excel Files"):
        if file.endswith(".xlsx"):
            dfs.append(pd.read_excel(os.path.join(path, file)))
    return pd.concat(dfs, ignore_index=True)


if __name__ == '__main__':
    start_time = time.time()
    print("程序开始时间:", time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(start_time)))
    warnings.filterwarnings('ignore')

    file_path = '策略列表'
    file_names = os.listdir(file_path)

    # 打印所有文件名
    for file_name in file_names:
        print(file_name)

    path = r"策略列表"
    print("正在合并表...")
    df = read_excel(path)
    # 根据账号去重数据
    df.drop_duplicates(subset='账号', inplace=True)
    df.to_excel("py合并后数据/合并策略数据-1207.xlsx", sheet_name='Sheet0', header=True, index=False)
    print("合并成功")

    end_time = time.time()
    print("程序结束时间:", time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(end_time)))
    run_time = end_time - start_time
    print("程序运行耗时:%0.2f" % run_time, "s")
相关推荐
听情歌落俗7 分钟前
MATLAB3-2数据存储-台大郭彦甫
开发语言·数学建模·matlab·矩阵
辣香牛肉面10 分钟前
[Windows] 搜索文本2.6.2(从word、wps、excel、pdf和txt文件中查找文本的工具)
word·excel·wps·搜索文本
程序员杰哥10 分钟前
什么是Jmeter? Jmeter工作原理是什么?
自动化测试·软件测试·python·测试工具·jmeter·职场和发展·测试用例
C22 分钟前
商城购物系统自动化测试报告
python·功能测试·selenium
云天徽上29 分钟前
【数据可视化-112】使用PyEcharts绘制TreeMap(矩形树图)完全指南及电商销售数据TreeMap绘制实战
开发语言·python·信息可视化·数据分析·pyecharts
ACEEE12221 小时前
Stanford CS336 | Assignment 2 - FlashAttention-v2 Pytorch & Triotn实现
人工智能·pytorch·python·深度学习·机器学习·nlp·transformer
NG WING YIN1 小时前
Golang關於信件的
开发语言·深度学习·golang
Sunny_yiyi2 小时前
Java根据模版导出PDF文件
java·开发语言·pdf
橘子132 小时前
C++实战:搜索引擎项目(二)
开发语言·c++·搜索引擎