python 多线程实战(不断更新)

1.多线程来读取多个文件,缩减运行时间,提高效率

以读取json文件为例,

单个线程读取文件

python 复制代码
import time
import os
import json
from pathlib import Path

class ReadNumerousFile:
    def __init__(self, file_path):
        # 文件路径
        self.file_path = file_path

    def read_file(self, file_li):
        # os.path.join() 替换成 Path().joinpath()
        for file in file_li:
            print(Path().joinpath(self.file_path, file))
            with open(Path().joinpath(self.file_path, file), 'r', encoding='utf-8') as f:
                josn_obj = json.load(f)
                if josn_obj:
                    print(josn_obj[0])


if __name__ == '__main__':
    start = time.time()
    source_path = r'D:\File\EVERY_MONTH_TASK\2023\tech_file\outputs'
    file_list = os.listdir(source_path) # 获取路径下文件列表
    if file_list:
        r_obj = ReadNumerousFile(source_path)
        r_obj.read_file(file_list)
    end = time.time()
    print('程序运行了%s' % (end - start))

程序运行了0.9743776321411133

多线程读取文件

python 复制代码
import time
import os
import json
from pathlib import Path
import threading


class ReadNumerousFile:
    def __init__(self, file_path):
        self.file_path = file_path

    def read_file(self, file_li):
        # os.path.join() 替换成 Path().joinpath()
        for file in file_li:
            print(Path().joinpath(self.file_path, file))
            with open(Path().joinpath(self.file_path, file), 'r', encoding='utf-8') as f:
                josn_obj = json.load(f)
                if josn_obj:
                    print(josn_obj[0])


if __name__ == '__main__':
    start = time.time()
    source_path = r'D:\File\EVERY_MONTH_TASK\2023\tech_file\outputs'
    file_list = os.listdir(source_path)
    n = 300  # 每个线程处理的文件数
    threads = []  # 线程列表
    if file_list:
        list_all = [file_list[i:i + n] for i in range(0, len(file_list), n)]
        # 按300来切分文件列表
        r_obj = ReadNumerousFile(source_path)
        for part_file_list in list_all:
            t = threading.Thread(target=r_obj.read_file, args=(part_file_list,))  # 创建线程
            threads.append(t)  # 加入线程列表
            t.start()  # 启动线程
    for thr in threads:
        thr.join()  # 等待所有子线程结束
    end = time.time()
    print('程序运行了%s秒' % (end - start))

程序运行了0.4763674736022949

对比两种方式的运行时间,明显多线程时间快了1倍

相关推荐
艾莉丝努力练剑39 分钟前
【LeetCode&数据结构】单链表的应用——反转链表问题、链表的中间节点问题详解
c语言·开发语言·数据结构·学习·算法·leetcode·链表
橡晟4 小时前
深度学习入门:让神经网络变得“深不可测“⚡(二)
人工智能·python·深度学习·机器学习·计算机视觉
墨尘游子4 小时前
神经网络的层与块
人工智能·python·深度学习·机器学习
倔强青铜35 小时前
苦练Python第18天:Python异常处理锦囊
开发语言·python
u_topian5 小时前
【个人笔记】Qt使用的一些易错问题
开发语言·笔记·qt
企鹅与蟒蛇5 小时前
Ubuntu-25.04 Wayland桌面环境安装Anaconda3之后无法启动anaconda-navigator问题解决
linux·运维·python·ubuntu·anaconda
autobaba5 小时前
编写bat文件自动打开chrome浏览器,并通过selenium抓取浏览器操作chrome
chrome·python·selenium·rpa
珊瑚里的鱼6 小时前
LeetCode 692题解 | 前K个高频单词
开发语言·c++·算法·leetcode·职场和发展·学习方法
AI+程序员在路上6 小时前
QTextCodec的功能及其在Qt5及Qt6中的演变
开发语言·c++·qt
xingshanchang6 小时前
Matlab的命令行窗口内容的记录-利用diary记录日志/保存命令窗口输出
开发语言·matlab