多协程爬虫

Python爬虫还可以使用协程,协程是一种轻量级线程,使用协程有众多的好处:

  1. 协程像一种在程序级别模拟系统的进程,由于是单线程,并且少了上下文切换,因此相对来说系统消耗很少,而且网上的各种测试也表明了协程拥有惊人的速度。
  2. 协程的方便切换控制流,这样就简化了编程的流程,它还可以保留上一次的调用的状态,每次过程重入时,就相当于进入了上一次的状态。
  3. 协程的高扩展性和高并发性,一个CPU支持上万个协程都不是问题,因此很适合高并发性。

当然协程也有缺点:

1.协程的本质是一个单线程,不可以同时使用单个CPU的多核,需要进程才可以配合多个CPU上。

2.有长时间阻塞的IO操作时,不要协程,因为可能阻塞整个程序。

我们开始的时候要使用pip安装:

pip install gevent

我们现在就可以使用gevent进行爬虫:

python 复制代码
import gevent
from gevent,queue import Queue, Emptyimport
import time
import requests

from gevent import monkey#把下面有可能有 IO 操作的单独做上标记
monkey.patch_all()#将I0转为异步执行的函数
link_list =[]
with open('alexa.txt','r')as file:
    file_list = file.readlines()
    for eachone in file_list:
        link = eachone.split('\t')[1]
        link = link.replace('\n','')
        link_list.append(link)
    start = time.time()
    def crawler(index):
        Process_id = 'Process_+ str(index)'
        while not workQueue.empty():
            url = workQueue.get(timeout=2)
        try:
            r = requests.get(url, timeout=20)
            print(Process_id, workQueue.qsize(), r.status_code, url)
        except Exception as e:
            print(Process_id, workQueue.qsize(), url, 'Error:',e)
    
    def boss():
            for url in link_list:
                workQueue.put_nowait(url)

if __name__ == '__main__':
    workQueue = Queue(1000)
    gevent.spawn(boss).join()
    jobs = []
    for i in range(10):
        jobs.append(gevent.spawn(crawler, i))
    gevent.joinall(jobs)
    end = time.time()
    print('gevent + Queue 多协程爬虫的总时间为:',end - start)
    print(' Ended!')

上面的代码,我们首先使用了:

form gevent import monkey

monkey.patch_all

这样可以实现爬虫的并发能力,如果没有这两句,整个获取就会变为依次抓取。gevent库中的monkey能把IO操作的单独做上标记,将IO变成异步执行的函数。

我们还是可以用Queue创建队列,但在这里使用:

gevent.spwan(boss).join()

将队列加入的内容整合到gevent里面:

for i in range(10):

jobs.append(gevent.spawn(crawler, i))

gevent.joinall(jobs)

相关推荐
遇见尚硅谷2 分钟前
C语言:20250728学习(指针)
c语言·开发语言·数据结构·c++·笔记·学习·算法
☆璇6 分钟前
【C++】C/C++内存管理
c语言·开发语言·c++
愿你天黑有灯下雨有伞16 分钟前
枚举策略模式实战:优雅消除支付场景的if-else
java·开发语言·策略模式
网络安全打工人21 分钟前
CentOS7 安装 rust 1.82.0
开发语言·后端·rust
楚轩努力变强22 分钟前
前端工程化常见问题总结
开发语言·前端·javascript·vue.js·visual studio code
菜鸟学Python33 分钟前
Python web框架王者 Django 5.0发布:20周年了!
前端·数据库·python·django·sqlite
梦想的初衷~1 小时前
MATLAB近红外光谱分析技术及实践技术应用
开发语言·支持向量机·matlab
Fly-ping1 小时前
【前端】JavaScript文件压缩指南
开发语言·前端·javascript
铭哥的编程日记1 小时前
《C++ list 完全指南:从基础到高效使用》
开发语言·c++·list
旧时光巷2 小时前
【机器学习-4】 | 集成学习 / 随机森林篇
python·随机森林·机器学习·集成学习·sklearn·boosting·bagging