如何从sheet名快速反查Excel文件

当前问题

在游戏开发中,通常需要将庞杂且改变频繁 的数据配置成静态数据表,一是方便代码读取,二是方便策划调试。

如果没有自研的导表工具,一般都采用Excel配置、脚本导出 的方法。在实际工作中,随着项目的进展,一个Excel文件可能有多个sheet,而整个项目又有多个Excel文件,从sheet名反查Excel文件是实际开发中的常见操作。

那么该如何高效地进行反查呢?

普通遍历

对于反查的需求,首先想到的方法是遍历Excel文件所在目录 ,读取每个Excel文件并查找是否有符合的sheet名。

python 复制代码
from xlrd import open_workbook
import time
import os
import sys
import re

def findExcel():
    if not sys.argv:
        return
    keyWord = sys.argv[1]
    path = None
    if len(sys.argv) >=3:
        path = sys.argv[2]
    print(f"======== start finding target '{keyWord}' ========")
    for filename in os.listdir(path):
        if filename[-4:] != "xlsx":
            continue
        try:
            findTarget(path, filename, keyWord)
        except:
            continue

def findTarget(path, filename, keyWord):
    filepath = path + "\\" + filename
    workbook = open_workbook(filepath)
    for name in workbook.sheet_names():
        if not re.search(keyWord, name):
            continue
        print(f"sheet name: {name} -> file name {filename}")


if __name__ == "__main__":
    startTime = time.time()
    findExcel()
    endTime = time.time()
    print(f"total cost time {endTime - startTime}s")

由于Excel文件较多,采用这种暴力循环的方式耗时较长,总耗时22s多,具体如下:

并行查找

为了提高效率,可以利用CPU的多核优势,采取多进程并行查找的方法。

multiprocessing.Pool会默认创建与CPU核数相同的进程数,让多个Excel文件同时进行查找。

python 复制代码
from xlrd import open_workbook
import os
import sys
import time
import multiprocessing
import re

def process_excel(filename, path, keyWord):
    """单独的进程函数来处理单个Excel文件"""
    try:
        filepath = os.path.join(path, filename)
        workbook = open_workbook(filepath)
        for name in workbook.sheet_names():
            if not re.search(keyWord, name):
                continue
            print(f"sheet name: {name} -> file name {filename}")
    except Exception as e:
        print(f"Error processing {filename}: {e}")

def findExcel():
    if not sys.argv:
        return
    keyWord = sys.argv[1]
    path = sys.argv[2] if len(sys.argv) >= 3 else '.'

    print(f"======== start finding target '{keyWord}' ========")
    # 使用进程池处理文件
    with multiprocessing.Pool() as pool:
        excel_files = [f for f in os.listdir(path) if f.endswith('.xlsx')]
        pool.starmap(process_excel, [(filename, path, keyWord) for filename in excel_files])


if __name__ == "__main__":
    startTime = time.time()
    findExcel()
    endTime = time.time()
    print(f"total cost time {endTime - startTime}s")

并行查找下,效率得到大大提升,总耗时仅5.1s左右,具体如下:

xml解析

在上述优化后是否还有效率更高的实现呢?这时候就要从Excel文件的底层入手了。

查阅资料可以知道,Excel文件其实是一个zip文件,里面封装了数据、表和表之间的引用以及样式等信息,

将xlsx后缀名改为zip后点开查看,目录如下:

shell 复制代码
.
├── [Content_Types].xml
├── _rels
├── docProps
│   ├── app.xml        
│   ├── core.xml       
│   └── custom.xml     
└── xl
    ├── _rels
    │   └── workbook.xml.rels
    ├── comments1.xml        
    ├── comments2.xml        
    ├── comments3.xml        
    ├── drawings
    │   ├── vmlDrawing1.vml  
    │   ├── vmlDrawing2.vml  
    │   └── vmlDrawing3.vml  
    ├── sharedStrings.xml    
    ├── styles.xml
    ├── theme
    │   └── theme1.xml
    ├── workbook.xml
    └── worksheets
        ├── _rels
        │   ├── sheet1.xml.rels
        │   ├── sheet2.xml.rels
        │   └── sheet3.xml.rels
        ├── sheet1.xml
        ├── sheet2.xml
        ├── sheet3.xml
        ├── sheet4.xml
        └── sheet5.xml

其中workbook.xml包含了每个sheet的基本信息,因此只需读取这个xml文件,即可快速反查。代码如下:

python 复制代码
from lxml import etree
import os
import sys
import multiprocessing
import zipfile
import shutil
import time
import re

def parserWorkBook(filename, path, keyWord):
    dirName = f'temp_directory_{os.getpid()}'
    try:
        with zipfile.ZipFile(f"{path}\\{filename}", 'r') as zip_ref:
            zip_ref.extractall(dirName)
    except Exception as e:
        # print(f"Error processing {filename}: {e}")
        return

    # 解析workbook.xml
    try:
        with open(f'{dirName}/xl/workbook.xml', 'rb') as file:
            tree = etree.parse(file)
            root = tree.getroot()
            # 遍历工作表信息
            for sheet in root.findall('.//{http://schemas.openxmlformats.org/spreadsheetml/2006/main}sheet'):
                sheetname = sheet.attrib['name']
                if not re.search(keyWord, sheetname):
                    continue
                print(f"sheet name: {sheetname} -> file name {filename}")
    except Exception as e:
        # print(f"Error processing {filename}: {e}")
        return

def findExcel():
    if not sys.argv:
        return
    keyWord = sys.argv[1]
    path = sys.argv[2] if len(sys.argv) >= 3 else '.'

    print(f"======== start finding target '{keyWord}' ========")
    # 使用进程池处理文件
    with multiprocessing.Pool() as pool:
        excel_files = [f for f in os.listdir(path) if f.endswith('.xlsx')]
        pool.starmap(parserWorkBook, [(filename, path, keyWord) for filename in excel_files])


if __name__ == "__main__":
    startTime = time.time()
    findExcel()
    endTime = time.time()
    print(f"total cost time {endTime - startTime}s")

    for filename in os.listdir(os.curdir):
        if filename.startswith('temp_directory_'):
            shutil.rmtree(filename)

由于不需要加载表中的无关数据 ,也不需要建立数据和数据、表与表之间的引用关系,因此效率得到进一步提升,最终总耗时提升到1.3s左右,具体如下:

相关推荐
青少儿编程课堂几秒前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:中国剩余定理解析
c++·python·算法·bfs·信息学竞赛
菜鸟~noob23344 分钟前
[AI]间章:系列走到这里,聊聊后面的规划、造卡需要的软件平台,以及为什么我要先暂停更新
人工智能·python·fpga开发·django·pygame
TomEval10 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
prince_zxill11 小时前
PEP 751 pylock.toml 实测:pip 26.3 装 6 个包版本全钉死,但 [web] 选不中任何东西
python·pip·依赖管理·pep 751
Thanks_ks13 小时前
Python 的垃圾回收——引用计数撑起日常,分代回收收拾残局
python·内存管理·垃圾回收·循环引用·引用计数·gc 模块·weakref
CyrusYiVPP13 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
罗西的思考13 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
yiangL_13 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
ashiho14 小时前
【LeetCode hot 100】3. 无重复字符的最长子串 (三种解法)
java·数据结构·后端·算法·leetcode·滑动窗口
数据工匠老o14 小时前
数据库没死,业务卡住了:行锁等待、元数据锁、长事务的排查路径
数据库·算法·架构