Python 爬虫：多进程，多线程爬虫＜提高爬取效率＞

_文书先生2024-06-29 17:56

关于多进程，多线程的知识，请自行查询资料补充· ~~~~~~~~~~~

使用多进程：

在python中，使用多进程需要先导包：

python 复制代码

from threding import Thread


def work(name):

    for i in range(1000):
        print(f"我是线程：{name}, {i}")



if __name__ == "__main__":

    for i in range(10):
        # 创建 十个线程
        t = Thread(target=work, args=(f"线程{i}",))

        t.start()

但是以上不推荐使用，

我们可以模拟一个场景，例如你来银行办理业务：银行提供了5个窗口，相当于开了5个线程，而客户就是任务，如果客户有100个，那么每个人都依次排队去办理业务，这样我们就要写一个很复杂的检测系统，所以，这里直接使用线程池，使用线程池就可以避免这种情况的发生：

使用线程池可以自动的帮我们来完成检测，调度等操作，我们只需要将任务交给线程池即可。