RabbitMQ的使用—实战

RabbitMQ的使用---实战

​ RabbitMQ是一个开源的消息代理中间件,在分布式系统开发中被广泛应用。它实现了高级消息队列协议(AMQP),提供可靠的消息传递、灵活的路由、消息确认等功能。下面是使用RabbitMQ的基本流程:

  1. 安装 RabbitMQ

首先需要在您的系统上安装 RabbitMQ。具体安装步骤根据您的操作系统不同而有所区别。您可以访问RabbitMQ 官方网站获取安装指南。

  1. 连接到 RabbitMQ

使用任何支持 AMQP 协议的客户端库与 RabbitMQ 建立连接。常用的客户端库包括 pika(Python)、RabbitMQ.Client(C#)等。

实 战:

系统:mac OS

环境:Pycharm2021

构造一个请求对象,然后通过pickle工具进行序列化,最后送到RabbitMQ中。生产者代码如下:

python 复制代码
import pika
import requests
import pickle

MAX_PRIORITY = 100
TOTAL = 100
QUEUE_NAME = 'scrape_queue'

connection = pika.BlockingConnection(
    pika.ConnectionParameters(host='localhost')
)
channel = connection.channel()
channel.queue_declare(queue=QUEUE_NAME,durable=True)

for i in range(1, TOTAL+1):
    url = f'https://ssr1.scrape.center/detail/{i}'
    request = requests.Request('GET',url)
    channel.basic_publish(exchange='',
                          routing_key=QUEUE_NAME,
                          properties=pika.BasicProperties(delivery_mode=2,),body=pickle.dumps(request))
    print(f'Put request of {url}')

对于消费者,可以编写一个循环,让它不断地从队列中取出请求对象,取出一个就执行一次爬虫任务,实现如下:

复制代码
import pika
import pickle
import requests

MAX_PRIORITY = 100
QUEUE_NAME = 'scrape_queue'

connection = pika.BlockingConnection(
    pika.ConnectionParameters(host='localhost')
)
channel = connection.channel()
session = requests.Session()

def scrape(request):
    try:
        response = session.send(request.prepare())
        print(f'success scraped {response.url}')
    except request.RequestException:
        print(f'error occurred when scraping {request.url}')

while 1:
    method_frame, header, body = channel.basic_get(
        queue=QUEUE_NAME, auto_ack=True
    )

    if body:
        request = pickle.loads(body)
        print(f'Get {request}')
        scrape(request)

这里消费者调用basic_get方法获取了消息,然后通过pickle工具把消息反序列化还原成一个请求对象,之后使用session的send方法执行该请求,爬取了数据,如果爬取成功就打印爬取成功的消息。

运行结果如下:

可以看到,消费者依次取出了请求对象,然后成功完成了一个个爬取任务。

以上示例可以在[小蜜蜂AI网站][https://zglg.work]获取更多的应用体验。

相关推荐
努力的小郑1 天前
从一次分表实践谈起:我们真的需要复杂的分布式ID吗?
分布式·后端·面试
AAA修煤气灶刘哥2 天前
别让Redis「歪脖子」!一次搞定数据倾斜与请求倾斜的捉妖记
redis·分布式·后端
往事随风去2 天前
架构师必备思维:从“任务队列”到“事件广播”,彻底吃透消息队列两大设计模式
消息队列·rabbitmq
Aomnitrix2 天前
知识管理新范式——cpolar+Wiki.js打造企业级分布式知识库
开发语言·javascript·分布式
程序消消乐2 天前
Kafka 入门指南:从 0 到 1 构建你的 Kafka 知识基础入门体系
分布式·kafka
智能化咨询2 天前
Kafka架构:构建高吞吐量分布式消息系统的艺术——进阶优化与行业实践
分布式·架构·kafka
Chasing__Dreams2 天前
kafka--基础知识点--5.2--最多一次、至少一次、精确一次
分布式·kafka
在未来等你2 天前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试
大数据CLUB3 天前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发