Python 多进程

单例模式

面试中,就被问到了这个问题,你知道用python怎么创建一个单例模式吗? 单例模式是什么? 就是这个对象只能被创建一次。 每次实例化,都是同一个对象。

单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例类的特殊类。通过单例 模式可以保证系统中一个类只有一个实例而且该实例易于外界访问,从而方便对实例个数的控制并节约 系统资源。如果希望在系统中某个类的对象只能存在一个,单例模式是最好的解决方案。

全局解释器锁 (GIL)

即使电脑有多核CPU,单个时刻也只能运行1个线程,遇到io之后转换到另一个线程运行。

为什么要有这个GIL,为了解决多线程之间数据完整性和状态同步问题。有了GIL简化了Python对于共享 资源的管理。

Python 多进程

进程

进程时系统分配资源的单位,一个进程可以有多个线程;

进程的状态有:新建,就绪,运行,等待,死亡。

并行:真的多任务; 并发: 假的多任务;

multiprocessing

复制代码
import multiprocessing
import time
 
food="aaaaa"
  
def singing():
    while True:
        print("singing...")
        time.sleep(1)
def dancing():
    while True:
        print("dancing...")
        time.sleep(1)
def main():
    p1 = multiprocessing.Process(target=singing)
    p2 = multiprocessing.Process(target=dancing)
    p1.start()
    p2.start()
if __name__ == "__main__":
    main()

多进程的创建与多线程极其相似。线程一般是共享主进程的一些变量,而进程可以理解为将主进程的资 源复制一份,相比于线程,进程耗费的资源较多。

同一台电脑启动两个微信,就是两个进程。而一个微信,开多个聊天框,就是多线程。

进程是完全独立的,于线程不同,需要某个介质,实现线程之间的通信

通过队列完成进程通信

队列,先进先出。

复制代码
from multiprocessing import Queue
##
myque = Queue(3)
myque.put(1)
myque.put(2)
myque.put(3)
myque.put(4) # 超过队列长度 ,会等待
myque.get() 
myque.get()
myque.get()
myque.get()# 先放谁 先取谁。如果为空,就会等待,阻塞

生产者消费者线程,利用队列进行通信

复制代码
from multiprocessing import Process,Queue,set_start_method,get_context
import time
def download_from_web(q):
    i=0
    while True:
        i += 1
        q.put(i)
        print(f'放入{i}')
        time.sleep(1)
def analysis_data(q):
    """处理数据"""
    watting_analysis_data = list()
    while True:
        data = q.get()
        watting_analysis_data.append(data)
        print(watting_analysis_data)
        time.sleep(4)
        # if q.empty(): # 如果放的很慢 就会停掉消费者
        #     break
    # print(watting_analysis_data)
def main():
    q = Queue(10)
    # 放入和取出 两边都while true,这样队列没有的话,不能取,会等待放入
    # 队列满了的话 不能放,会等待取出
    ctx = get_context('fork')
    p1 = ctx.Process(target=download_from_web,args=(q,))
    p2 = ctx.Process(target=analysis_data,args=(q,))
    p1.start()
    p2.start()
if __name__ == "__main__":
    main()

进程池

当要创建的进程数量不多时,可以利用multiprocessing中的Procss动态生成多个进程,但如果需要创建 成千上百个目标,可以利用进程池Pool方法。

复制代码
from multiprocessing import Pool
import os, time, random
def work(i):
    
    time.sleep(random.random()*3)
    print("进程{} running ....".format(i),"--pid {}".format(os.getpid()))
if __name__ == '__main__':
    po = Pool(3)
    for i in range(10):
        po.apply_async(work,(i,))
    print("-----start-------")
    po.close()
    po.join()
    print("-----end-------")

线程池里的Queue用multiprocessing下的manager.queue

相关推荐
黑客笔记30 分钟前
Python 进程池和线程池:用等待任务理解并发
开发语言·python
卷无止境43 分钟前
Python 开发中的资源管理:统一生命周期,保留资源差异
后端·python
新*1 小时前
520 万数据迁移实战:Elasticsearch 索引重建与"改名"的完整踩坑记录
python·mysql·elasticsearch·数据迁移
吴名氏.2 小时前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
黑客笔记11 小时前
python小工具win7翻车事故现场
python
pps-key13 小时前
网络攻防入门:从“黑客梦”到合法实操(生存篇)
开发语言·web安全·php
汤姆宝库13 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静13 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
benchmark_cc14 小时前
个人开发者接入五档盘口:用 QuantDash 读取单只股票的验收清单与易错点
python·数据分析·pandas·量化交易·股票数据·quantdash
ZhengEnCi15 小时前
项目越写越乱?先别改架构:用一次目录重排 + 一份可复算的体检脚本把乱治住
python·架构·ai编程