RabbitMQ的使用—实战

RabbitMQ的使用---实战

​ RabbitMQ是一个开源的消息代理中间件,在分布式系统开发中被广泛应用。它实现了高级消息队列协议(AMQP),提供可靠的消息传递、灵活的路由、消息确认等功能。下面是使用RabbitMQ的基本流程:

  1. 安装 RabbitMQ

首先需要在您的系统上安装 RabbitMQ。具体安装步骤根据您的操作系统不同而有所区别。您可以访问RabbitMQ 官方网站获取安装指南。

  1. 连接到 RabbitMQ

使用任何支持 AMQP 协议的客户端库与 RabbitMQ 建立连接。常用的客户端库包括 pika(Python)、RabbitMQ.Client(C#)等。

实 战:

系统:mac OS

环境:Pycharm2021

构造一个请求对象,然后通过pickle工具进行序列化,最后送到RabbitMQ中。生产者代码如下:

python 复制代码
import pika
import requests
import pickle

MAX_PRIORITY = 100
TOTAL = 100
QUEUE_NAME = 'scrape_queue'

connection = pika.BlockingConnection(
    pika.ConnectionParameters(host='localhost')
)
channel = connection.channel()
channel.queue_declare(queue=QUEUE_NAME,durable=True)

for i in range(1, TOTAL+1):
    url = f'https://ssr1.scrape.center/detail/{i}'
    request = requests.Request('GET',url)
    channel.basic_publish(exchange='',
                          routing_key=QUEUE_NAME,
                          properties=pika.BasicProperties(delivery_mode=2,),body=pickle.dumps(request))
    print(f'Put request of {url}')

对于消费者,可以编写一个循环,让它不断地从队列中取出请求对象,取出一个就执行一次爬虫任务,实现如下:

import pika
import pickle
import requests

MAX_PRIORITY = 100
QUEUE_NAME = 'scrape_queue'

connection = pika.BlockingConnection(
    pika.ConnectionParameters(host='localhost')
)
channel = connection.channel()
session = requests.Session()

def scrape(request):
    try:
        response = session.send(request.prepare())
        print(f'success scraped {response.url}')
    except request.RequestException:
        print(f'error occurred when scraping {request.url}')

while 1:
    method_frame, header, body = channel.basic_get(
        queue=QUEUE_NAME, auto_ack=True
    )

    if body:
        request = pickle.loads(body)
        print(f'Get {request}')
        scrape(request)

这里消费者调用basic_get方法获取了消息,然后通过pickle工具把消息反序列化还原成一个请求对象,之后使用session的send方法执行该请求,爬取了数据,如果爬取成功就打印爬取成功的消息。

运行结果如下:

可以看到,消费者依次取出了请求对象,然后成功完成了一个个爬取任务。

以上示例可以在[小蜜蜂AI网站][https://zglg.work]获取更多的应用体验。

相关推荐
一叶飘零_sweeeet7 分钟前
Dubbo 构建高效分布式服务架构
分布式·架构·dubbo
孤蓬&听雨32 分钟前
RabbitMQ自动发送消息工具(自动化测试RabbitMQ)
分布式·测试工具·自动化·rabbitmq·自动发送消息
呼啦啦啦啦啦啦啦啦32 分钟前
RabbitMQ 七种工作模式介绍
分布式·rabbitmq
qq_2037694933 分钟前
win11安装最新rabbitmq
分布式·rabbitmq·ruby
Amagi.39 分钟前
RabbitMQ的解耦、异步、削峰是什么?
分布式·rabbitmq
那你为何对我三笑留情1 小时前
六、Spring Boot集成Spring Security之前后分离项目认证流程最佳方案
java·spring boot·分布式·后端·spring·spring security
极客先躯4 小时前
高级java每日一道面试题-2024年10月27日-Redis篇-jedis和redisson有哪些区别?
分布式·redisson·jedis·redis篇·redis高级
IT瑞先生4 小时前
高并发分布式是什么,包含哪些核心技术
分布式
努力的小雨5 小时前
微服务架构——不可或缺的注册中心
分布式·源码分析
请不要叫我菜鸡6 小时前
分布式——一致性模型与共识算法
分布式·后端·区块链·raft·共识算法·zab