python 多线程实战(不断更新)

1.多线程来读取多个文件,缩减运行时间,提高效率

以读取json文件为例,

单个线程读取文件

python 复制代码
import time
import os
import json
from pathlib import Path

class ReadNumerousFile:
    def __init__(self, file_path):
        # 文件路径
        self.file_path = file_path

    def read_file(self, file_li):
        # os.path.join() 替换成 Path().joinpath()
        for file in file_li:
            print(Path().joinpath(self.file_path, file))
            with open(Path().joinpath(self.file_path, file), 'r', encoding='utf-8') as f:
                josn_obj = json.load(f)
                if josn_obj:
                    print(josn_obj[0])


if __name__ == '__main__':
    start = time.time()
    source_path = r'D:\File\EVERY_MONTH_TASK\2023\tech_file\outputs'
    file_list = os.listdir(source_path) # 获取路径下文件列表
    if file_list:
        r_obj = ReadNumerousFile(source_path)
        r_obj.read_file(file_list)
    end = time.time()
    print('程序运行了%s' % (end - start))

程序运行了0.9743776321411133

多线程读取文件

python 复制代码
import time
import os
import json
from pathlib import Path
import threading


class ReadNumerousFile:
    def __init__(self, file_path):
        self.file_path = file_path

    def read_file(self, file_li):
        # os.path.join() 替换成 Path().joinpath()
        for file in file_li:
            print(Path().joinpath(self.file_path, file))
            with open(Path().joinpath(self.file_path, file), 'r', encoding='utf-8') as f:
                josn_obj = json.load(f)
                if josn_obj:
                    print(josn_obj[0])


if __name__ == '__main__':
    start = time.time()
    source_path = r'D:\File\EVERY_MONTH_TASK\2023\tech_file\outputs'
    file_list = os.listdir(source_path)
    n = 300  # 每个线程处理的文件数
    threads = []  # 线程列表
    if file_list:
        list_all = [file_list[i:i + n] for i in range(0, len(file_list), n)]
        # 按300来切分文件列表
        r_obj = ReadNumerousFile(source_path)
        for part_file_list in list_all:
            t = threading.Thread(target=r_obj.read_file, args=(part_file_list,))  # 创建线程
            threads.append(t)  # 加入线程列表
            t.start()  # 启动线程
    for thr in threads:
        thr.join()  # 等待所有子线程结束
    end = time.time()
    print('程序运行了%s秒' % (end - start))

程序运行了0.4763674736022949

对比两种方式的运行时间,明显多线程时间快了1倍

相关推荐
yangzhi_emo28 分钟前
ES6笔记2
开发语言·前端·javascript
emplace_back1 小时前
C# 集合表达式和展开运算符 (..) 详解
开发语言·windows·c#
jz_ddk1 小时前
[学习] C语言数学库函数背后的故事:`double erf(double x)`
c语言·开发语言·学习
萧曵 丶2 小时前
Rust 所有权系统:深入浅出指南
开发语言·后端·rust
xiaolang_8616_wjl2 小时前
c++文字游戏_闯关打怪2.0(开源)
开发语言·c++·开源
收破烂的小熊猫~2 小时前
《Java修仙传:从凡胎到码帝》第四章:设计模式破万法
java·开发语言·设计模式
蹦蹦跳跳真可爱5892 小时前
Python----OpenCV(图像増强——高通滤波(索贝尔算子、沙尔算子、拉普拉斯算子),图像浮雕与特效处理)
人工智能·python·opencv·计算机视觉
nananaij2 小时前
【Python进阶篇 面向对象程序设计(3) 继承】
开发语言·python·神经网络·pycharm
雷羿 LexChien2 小时前
从 Prompt 管理到人格稳定:探索 Cursor AI 编辑器如何赋能 Prompt 工程与人格风格设计(上)
人工智能·python·llm·编辑器·prompt