线程与进程代码示例

python 复制代码
import multiprocessing
import concurrent.futures

def data_split(batch_data, batch_num):
    split_data = [[] for _ in range(batch_num)]
    for i, data in enumerate(batch_data):
        split_data[i%batch_num].append(data)
    
    return split_data

num_threads = multiprocessing.cpu_count()  # 获取CPU核心数
batch_data = data_split(export_data, num_threads)

executor = concurrent.futures.ThreadPoolExecutor(max_workers=num_threads)
    
for i in range(num_threads):
     executor.submit(err_vis.draw_all_info, batch_data[i])

# 关闭线程池
executor.shutdown(wait=True)

多进程

python 复制代码
import multiprocessing

def data_split(batch_data, batch_num):
    split_data = [[] for _ in range(batch_num)]
    for i, data in enumerate(batch_data):
        split_data[i % batch_num].append(data)
    return split_data

num_processes = multiprocessing.cpu_count()  # 获取CPU核心数
batch_data = data_split(export_data, num_processes)

processes = []
for i in range(num_processes):
    p = multiprocessing.Process(target=err_vis.draw_all_info, args=(batch_data[i],))
    p.start()
    processes.append(p)

for p in processes:
    p.join()
python 复制代码
import multiprocessing

def process_data(data):
    err_vis.draw_all_info(data)

num_processes = multiprocessing.cpu_count()  # 获取CPU核心数
batch_data = data_split(export_data, num_processes)

with multiprocessing.Pool(processes=num_processes) as pool:
    pool.map(process_data, batch_data)

同步调用

python 复制代码
from multiprocessing import Pool
import time,os,random
def test(n):
    print(f"子进程:{os.getpid()}")
    time.sleep(2)
    return n*random.randint(2,9)

if __name__ == '__main__':
    n = os.cpu_count()     # 本机CPU个数,我的是4,进程池容量个数自定义,默认CPU核数
    p = Pool(processes=n)  # 设置进程池进程个数,从无到有,并且以后一直只有这四个进程在执行任务
    li = []
    start_time = time.time()
    for i in range(10):
        res = p.apply(test,args=(2,))  # 创建十个个任务, 使用同步调用的方式
        li.append(res)
    p.close()  # 先关闭进程池, 不会再有新的进程加入到pool中, 防止进一步的操作(同步调用可以不加此方法)
    p.join()   # 必须在close调用之后执行, 否则报错, 执行后等待所有子进程结束(同步调用可以不加此方法)
    print(li)  # 同步调用, 得到的就是最终结果,(异步调用得到的是对象, 需要使用get方法取值)
    print(f'使用时间:{time.time()-start_time}')
    
'''输出
子进程:7768
子进程:16276
子进程:17544
子进程:15680
子进程:7768
子进程:16276
子进程:17544
子进程:15680
子进程:7768
子进程:16276
[4, 18, 14, 14, 12, 14, 16, 14, 6, 10]
使用时间:20.226498126983643
'''
python 复制代码
异步调用
from multiprocessing import Pool
import time,os,random

def test(n):
    print(f"子进程:{os.getpid()}")
    time.sleep(2)
    return n*n*random.randint(2,9)

if __name__ == '__main__':
    n = os.cpu_count()     # 本机CPU个数,我的是4,进程池容量个数自定义,默认CPU核数
    p = Pool(processes=n)  # 设置进程池大小, 从无到有, 并之后只有这四个进程执行任务
    li = []
    start_time = time.time()
    for i in range(10):
        res = p.apply_async(test,args=(2,))  # 开启十个任务, 使用异步调用的方式
        li.append(res)
    p.close()  # 关闭进程池, 不会再有新的进程加入到pool中, 防止进一步的操作
    p.join()   # join必须在close函数之后进行, 否则报错, 执行后等待所有子进程结束
    print(li)  # 返回的是AsyncResul的对象[<multiprocessing.pool.ApplyResult object at 0x000002318511B408>,....]
    print([i.get() for i in li])  # 使用get方法来获取异步调用的值(同步调用没有该方法),并放入列表中打印
    print(f"使用时间:{time.time()-start_time}")

'''输出
子进程:8636
子进程:10828
子进程:7432
子进程:13976
子进程:8636
子进程:10828
子进程:7432
子进程:13976
子进程:8636
子进程:10828
[<multiprocessing.pool.ApplyResult object at 0x000001623059B308>,...省略]
[16, 24, 24, 24, 16, 28, 36, 28, 8, 32]
使用时间:6.301024436950684
'''

同步调用和异步调用

http://t.csdn.cn/wNoEA

相关推荐
前端梭哈攻城狮18 分钟前
dify二开示例
前端·后端·python
秋难降22 分钟前
一篇文章带你了解Pandassssssssssssssss
大数据·python·pandas
java1234_小锋25 分钟前
[免费]【NLP舆情分析】基于python微博舆情分析可视化系统(flask+pandas+echarts)【论文+源码+SQL脚本】
python·flask·nlp·舆情分析·微博舆情分析
weixin_贾29 分钟前
模块自由拼装!Python重构DSSAT作物模块教程(以杂交水稻为例)
python·dssat
超浪的晨29 分钟前
Java 代理机制详解:从静态代理到动态代理,彻底掌握代理模式的原理与实战
java·开发语言·后端·学习·代理模式·个人开发
咖啡の猫40 分钟前
bash的特性-bash中的引号
开发语言·chrome·bash
tilblackout44 分钟前
机器学习详解(28):LightGBM原理
人工智能·机器学习
java叶新东老师1 小时前
idea提交时忽略.class、.iml文件和文件夹或目录的方法
java·开发语言
weixin_464078071 小时前
机器学习sklearn:决策树的参数、属性、接口
决策树·机器学习·sklearn
走过,莫回头1 小时前
在OpenMP中,#pragma omp的使用
开发语言·openmp