python 多线程实战(不断更新)

1.多线程来读取多个文件,缩减运行时间,提高效率

以读取json文件为例,

单个线程读取文件

python 复制代码
import time
import os
import json
from pathlib import Path

class ReadNumerousFile:
    def __init__(self, file_path):
        # 文件路径
        self.file_path = file_path

    def read_file(self, file_li):
        # os.path.join() 替换成 Path().joinpath()
        for file in file_li:
            print(Path().joinpath(self.file_path, file))
            with open(Path().joinpath(self.file_path, file), 'r', encoding='utf-8') as f:
                josn_obj = json.load(f)
                if josn_obj:
                    print(josn_obj[0])


if __name__ == '__main__':
    start = time.time()
    source_path = r'D:\File\EVERY_MONTH_TASK\2023\tech_file\outputs'
    file_list = os.listdir(source_path) # 获取路径下文件列表
    if file_list:
        r_obj = ReadNumerousFile(source_path)
        r_obj.read_file(file_list)
    end = time.time()
    print('程序运行了%s' % (end - start))

程序运行了0.9743776321411133

多线程读取文件

python 复制代码
import time
import os
import json
from pathlib import Path
import threading


class ReadNumerousFile:
    def __init__(self, file_path):
        self.file_path = file_path

    def read_file(self, file_li):
        # os.path.join() 替换成 Path().joinpath()
        for file in file_li:
            print(Path().joinpath(self.file_path, file))
            with open(Path().joinpath(self.file_path, file), 'r', encoding='utf-8') as f:
                josn_obj = json.load(f)
                if josn_obj:
                    print(josn_obj[0])


if __name__ == '__main__':
    start = time.time()
    source_path = r'D:\File\EVERY_MONTH_TASK\2023\tech_file\outputs'
    file_list = os.listdir(source_path)
    n = 300  # 每个线程处理的文件数
    threads = []  # 线程列表
    if file_list:
        list_all = [file_list[i:i + n] for i in range(0, len(file_list), n)]
        # 按300来切分文件列表
        r_obj = ReadNumerousFile(source_path)
        for part_file_list in list_all:
            t = threading.Thread(target=r_obj.read_file, args=(part_file_list,))  # 创建线程
            threads.append(t)  # 加入线程列表
            t.start()  # 启动线程
    for thr in threads:
        thr.join()  # 等待所有子线程结束
    end = time.time()
    print('程序运行了%s秒' % (end - start))

程序运行了0.4763674736022949

对比两种方式的运行时间,明显多线程时间快了1倍

相关推荐
CodeCraft Studio1 小时前
PDF处理控件Aspose.PDF教程:使用 Python 将 PDF 转换为 Base64
开发语言·python·pdf·base64·aspose·aspose.pdf
零点零一1 小时前
VS+QT的编程开发工作:关于QT VS tools的使用 qt的官方帮助
开发语言·qt
困鲲鲲2 小时前
Python中内置装饰器
python
摩羯座-185690305943 小时前
Python数据可视化基础:使用Matplotlib绘制图表
大数据·python·信息可视化·matplotlib
lingchen19064 小时前
MATLAB的数值计算(三)曲线拟合与插值
开发语言·matlab
爱隐身的官人4 小时前
cfshow-web入门-php特性
python·php·ctf
gb42152874 小时前
java中将租户ID包装为JSQLParser的StringValue表达式对象,JSQLParser指的是?
java·开发语言·python
THMAIL4 小时前
量化股票从贫穷到财务自由之路 - 零基础搭建Python量化环境:Anaconda、Jupyter实战指南
linux·人工智能·python·深度学习·机器学习·金融
~-~%%4 小时前
从PyTorch到ONNX:模型部署性能提升
人工智能·pytorch·python
一朵梨花压海棠go4 小时前
html+js实现表格本地筛选
开发语言·javascript·html·ecmascript