python用openpyxl操作excel-合并格式相同的excel文件

python用openpyxl操作excel-合并指定路径下格式相同的excel文件,参见如下实列代码

python 复制代码
import logging
import com.pro001.log.pro_log_config as pro_log_config #参见另一篇博文
from openpyxl import Workbook, load_workbook
from openpyxl.styles import  Font, Alignment, Side, PatternFill, Border
import os
import datetime
import random
import pandas as pd


def merge_all_excel(base_dir, output_excel_name):
    """ 合并指定路径下所有格式即列名名相同的
    Excel文件(仅含一或多个sheet)的内容到新的Excel文件中 """
    try:
        if not os.path.exists(base_dir):
            logger.error(f'路径{base_dir}不存在!')
            return None
        suffix = '.xlsx'
        # 获取当前路径下所有开头为excelFile或myExcel,后缀为 .xlsx 的文件放到列表中
        excel_list = [f for f in os.listdir(base_dir) if f.lower().endswith(suffix) \
                      and (f.startswith('excelFile') or f.startswith('myExcel'))]
        if not excel_list:
            logger.error(f'路径{base_dir}下不存在{suffix}的Excel文件!')
            return None

        # 创建一个空的列表用于存储所有的DataFrame对象
        df_list = []
        # 遍历所有Excel文件,读取内容到DataFrame对象中
        for excel_file in excel_list:
            file_path = os.path.join(base_dir, excel_file)
            '''------每个excel文件仅有一个sheet的情况------'''
            '''
            df = pd.read_excel(file_path)
            # 合并前增加一列展示数据来源哪个文件
            df['来源文件'] = os.path.basename(excel_file)
            # 合并前删除无效列
            df = df.drop(columns=['某列名01','某列名02']) # 删除某多列
            #df = df.drop(columns=['某列名01'], axis=1) # 仅删除某列 axis=0为按行,1为按列
            # 合并前删除重复行
            df = df.drop_duplicates()
            # 合并前删除空行
            df = df.dropna(how='all')
            # 合并前删除空列,axis=0表示按行删除, axis=1表示按列删除, how='all'表示删除所有空行
            df = df.dropna(how='all', axis=1)
            # 合并前删除重复列
            df = df.loc[:, ~df.columns.duplicated()]
            if df:
                df_list.append(df)
                logger.info(f'文件{file_path}读取成功,包含{len(df)}行数据!')
            else:
                logger.error(f'文件{file_path}读取返回无效数据')
            '''

            ''' -----每个 excel 文件有一或多个数据格式相同 sheet 的情况,兼容上面仅有一个sheet的情况-----'''
            xlsx_file = pd.ExcelFile(file_path)
            for sheet_name in xlsx_file.sheet_names:
                tmp_df = xlsx_file.parse(sheet_name)
                tmp_df['来源文件'] = os.path.basename(excel_file)
                tmp_df['来源sheet'] = sheet_name
                # 合并前删除无效列,删除空行,去重等操作
                tmp_df = tmp_df.drop(columns=['某列名01','某列名02']) # 删除某多列
                #tmp_df = tmp_df.drop(columns=['某列名01'], axis=1) # 仅删除某列 axis=0为按行,1为按列
                tmp_df = tmp_df.drop_duplicates()
                tmp_df = tmp_df.dropna(how='all')
                tmp_df = tmp_df.dropna(how='all', axis=1)
                tmp_df = tmp_df.loc[:, ~tmp_df.columns.duplicated()]
                if tmp_df:
                    df_list.append(tmp_df)
                    logger.info(f'文件{file_path}的{sheet_name}工作表读取成功,包含{len(tmp_df)}行数据!')
                else:
                    logger.error(f'文件{file_path}的{sheet_name}工作表读取返回无效数据')

        # 判断是否有有效的合并sheet数据文件
        if not df_list:
            logger.error(f'没有有效的合并sheet数据文件!')
            return None

        # 生成新的Excel文件名称
        new_excel_name =''
        if not output_excel_name or not output_excel_name.lower().endswith(suffix):
            new_excel_name = datetime.datetime.now().strftime('%Y%m%d_%H%M%S') + suffix
            new_excel_name = 'F' + new_excel_name
        new_excel_name = os.path.join(base_dir, new_excel_name)

        # 合并所有 df 对象,忽略前面的索引列
        merged_df = pd.concat(df_list, ignore_index=True)
        # 合并后的内容写入到新的 Excel 文件中
        merged_df.to_excel(new_excel_name, index=False)
        # 保存合并后的结果到新的Excel文件中
        logger.info(f'合并后的Excel文件见:{new_excel_name}')
        return new_excel_name
    except Exception as e:
        logger.error(f'合并excel异常文件,info: \n{e}')
        return None


def main():
    """主函数"""
    base_dir = r'F:\appData\tempExcel'    
    merge_all_excel(base_dir, 'mergeExcelFile01.xlsx')
    


if __name__ == '__main__':
    print('-' * 60)
    main()
相关推荐
shenzhenNBA2 小时前
python用openpyxl操作excel-读取sheet中数据
python·excel·读取sheet数据
gf13211112 小时前
python_字幕、音频、媒体文件(图片或视频)一键组合
python·音视频·swift
网安Ruler3 小时前
崭新出厂,自研CipherForge小工具,攻破 D-Link M30 固件加密
前端·网络·python
艾上编程3 小时前
第二章——数据分析场景之Python数据可视化:用Matplotlib与Seaborn绘制洞察之图
python·信息可视化·数据分析
Cigaretter73 小时前
Day 31 类的装饰器
开发语言·python
MasonYyp3 小时前
简单使用Argos翻译框架
python
XiaoMu_0013 小时前
验证码识别系统
python·深度学习
white-persist3 小时前
网络空间安全核心领域技术架构深度解析
c语言·开发语言·网络·python·安全·网络安全·架构
qq_463944863 小时前
如何修改Anaconda虚拟环境的名字?
开发语言·python·anaconda