使用 multiprocessing 多进程处理批量数据

示例代码

python 复制代码
import multiprocessing

def process_data(data):
    # 这里是处理单个数据的过程
    return data * 2

# 待处理的数据
data = [1, 2, 3, 4, 5]

def normal_func():
    # 普通处理方式
    result = []
    for obj in data:
        result.append(process_data(obj)

    return result

def parallel_func():
    # 多进程处理方式
    pool = multiprocessing.Pool(multiprocessing.cpu_count())
    result = pool.map(process_data, data)
    pool.close()
    return result

if __name__ == '__main__':
    result = normal_func()
    result = parallel_func()
    

multiprocessing.Pool 创建进程池, 传入的参数是要要使用的 CPU 内核数量, 直接用 cpu_count() 可以拿到当前硬件配置所有的 CPU 内核数.

pool.map 可以直接将处理后的结果拼接成一个 list 对象

应用在实际数据处理代码的效果对比:

  • 普通处理方式, 用时 221 秒
  • 多进程处理方式, 用时 39 秒, 节省了 82% 的时间
相关推荐
归仁2 小时前
wvp 推拉转级联时频繁出现流无法观看的解决办法
linux·服务器·python·音视频
bryant_meng3 小时前
【python】OpenCV—findContours(4.3)
开发语言·python·opencv·findcontours·轮廓
敲代码不忘补水3 小时前
使用 PyCharm 构建 FastAPI 项目:零基础入门 Web API 开发
后端·python·fastapi
PythonFun4 小时前
Python常用脚本集锦
java·数据库·python
武子康4 小时前
大数据-205 数据挖掘 机器学习理论 - 线性回归 最小二乘法 多元线性
java·大数据·人工智能·python·机器学习·数据挖掘
weixin_404679314 小时前
pdf转图片
linux·运维·开发语言·python·pdf
tianchengwang4 小时前
OpenCV Python 版使用教程(三)摄像头读取延迟解决方法
人工智能·python·opencv
CSXB995 小时前
三十一、Python基础语法(多态)
开发语言·python·功能测试·测试工具
进击的小小学生5 小时前
BackTrader-Commission 06
人工智能·python·数据挖掘·数据分析
Ws_6 小时前
leetcode-有效的字母异位词
python·算法·leetcode