5. RabbitMQ 消息队列中 Exchanges(交换机) 的详细说明
@[toc]
在上一节中,我们创建了一个工作队列。我们假设的是工作队列背后,每个任务都恰好交付给一个消 费者(工作进程)。在这一部分中,我们将做一些完全不同的事情-我们将消息传达给多个消费者。这种模式 称为 "发布/订阅". 为了说明这种模式,我们将构建一个简单的日志系统。它将由两个程序组成:第一个程序将发出日志消 息,第二个程序是消费者。其中我们会启动两个消费者,其中一个消费者接收到消息后把日志存储在磁盘,另外一个消费者接收到消息后把消息打印在屏幕上,事实上第一个程序发出的日志消息将广播给所有消费者
1. Exchanges 交换机的概念
RabbitMQ 消息传递模拟的核心思想是:**生产者生产的消息从不会直接发送到队列当中,而是通过发送给交换机(exchanges) ** 。实际上,通常生产者也不会知道将这些消息传递给了哪些队列中。
相反,**生产者只能将消息发送到交换机(exchange) ** ,交换机工作的内容非常简单。
- 一方面它接收来自生产者的消息,另一方面将它们推入队列。交换机必须确切知道如何处理收到的消息。是应该把这些消息放到特定队列还是说把他们到许多队列中还是丢弃它们,这就的由交换机的类型来决定。
1.1 Exchanges 的类型:
总共有以下类型:
直接(direct), 主题(topic) ,标题(headers) , 扇出(fanout)
无名 exchange:
在前面,我们对 exchange 一无所知,但仍然能够将消息发送到队列。之前能实现的 原因是因为我们使用的是默认交换,我们通过空字符串("")进行标识。
一个参数是交换机的名称。空字符串表示默认或无名称交换机:消息能路由发送到队列中其实 是由 routingKey(bindingkey)
绑定 key 指定的,如果它存在的话。
2. 临时队列
我们使用的是具有特定名称的队列(还记得 hello 和 ack_queue 吗?)。队列的名称我们 来说至关重要-我们需要指定我们的消费者去消费哪个队列的消息。 每当我们连接到 Rabbit 时,我们都需要一个全新的空队列,为此我们可以创建一个具有随机名称 的队列,或者能让服务器为我们选择一个随机队列名称那就更好了。其次一旦我们断开了消费者的连 接,队列将被自动删除。
创建临时队列的方式如下:
java
String queueName = channel.queueDeclare().getQueue();
创建出来之后长成这样:
3. 绑定(bindings)
什么是 bingding 呢,binding 其实是 exchange 和 queue 之间的桥梁,它告诉我们 exchange 和那个队 列进行了绑定关系。比如说下面这张图告诉我们的就是 X 与 Q1 和 Q2 进行了绑定
4. 扇出(fanout) 类型交换机
Fanout 这种类型非常简单。正如从名称中猜到的那样,它是将接收到的所有消息广播到它知道的所有队列中。RabbitMQ 中默认有些 exchange 类型
Fanout 实战:
Logs 和临时队列的绑定关系如下图:
编写生产者,这里使用上交换机(fanout扇出(广播式的交换机)
):将消息给 logs交换机发送消息
java
package com.rainbowsea.rabbitmq.five;
import com.rabbitmq.client.Channel;
import com.rainbowsea.rabbitmq.utils.RabbitMQUtils;
import java.io.IOException;
import java.util.Scanner;
import java.util.concurrent.TimeoutException;
/**
* 发消息,交换机
*/
public class EmitLog {
private static final String EXCHANGE_NAME = "logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
// 声明将消息从哪个交换机当中发送出去
channel.exchangeDeclare(EXCHANGE_NAME,"fanout");
Scanner scanner = new Scanner(System.in);
while (scanner.hasNext()) {
String message = scanner.next();
channel.basicPublish(EXCHANGE_NAME,"",null,message.getBytes("UTF-8"));
System.out.println("生产者发出的消息: " + message);
}
}
}
编写两个消费者,读取 logs
交换机当中的信息。队列是随机生成的临时队列
java
package com.rainbowsea.rabbitmq.five;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import com.rainbowsea.rabbitmq.utils.RabbitMQUtils;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
public class ReceiveLogs01 {
// 交换机名为 : logs
private static final String EXCHANGE_NAME = "logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
// 声明一个交换机 fanout(扇出,广播式的)
channel.exchangeDeclare(EXCHANGE_NAME, "fanout");
// 声明一个队列,临时队列
/*
生产一个临时队列,队列的名称是随机的
当消费者断开与该队列的连接的时候,队列就自动删除
*/
String queueName = channel.queueDeclare().getQueue();
// 绑定交换机与队列
channel.queueBind(queueName, EXCHANGE_NAME, "");
System.out.println("等待接收消息,把接收到消息打印在屏幕上...");
// 接收消息
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("ReceiveLogs01 接收到的消息" + new String(message.getBody(), "UTF-8"));
};
// 消费者取消消息时回调接口
channel.basicConsume(queueName, true, deliverCallback, consumerTage -> {
});
}
}
java
package com.rainbowsea.rabbitmq.five;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import com.rainbowsea.rabbitmq.utils.RabbitMQUtils;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
public class ReceiveLogs02 {
// 交换机名为 : logs
private static final String EXCHANGE_NAME = "logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
// 声明一个交换机 fanout(扇出,广播式的)
channel.exchangeDeclare(EXCHANGE_NAME, "fanout");
// 声明一个队列,临时队列
/*
生产一个临时队列,队列的名称是随机的
当消费者断开与该队列的连接的时候,队列就自动删除
*/
String queueName = channel.queueDeclare().getQueue();
// 绑定交换机与队列
channel.queueBind(queueName, EXCHANGE_NAME, "");
System.out.println("等待接收消息,把接收到消息打印在屏幕上...");
// 接收消息
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("ReceiveLogs02接收到的消息" + new String(message.getBody(), "UTF-8"));
};
// 消费者取消消息时回调接口
channel.basicConsume(queueName, true, deliverCallback, consumerTage -> {
});
}
}
运行测试:效果
补充:
ReceiveLogs01 将接收到的消息打印在控制台
javapackage com.rainbowsea.rabbitmq.five; public class ReceiveLogs01 { private static final String EXCHANGE_NAME = "logs"; public static void main(String[] argv) throws Exception { Channel channel = RabbitUtils.getChannel(); channel.exchangeDeclare(EXCHANGE_NAME, "fanout"); /** * 生成一个临时的队列 队列的名称是随机的 * 当消费者断开和该队列的连接时 队列自动删除 */ String queueName = channel.queueDeclare().getQueue(); //把该临时队列绑定我们的 exchange 其中 routingkey(也称之为 binding key)为空字符串 channel.queueBind(queueName, EXCHANGE_NAME, ""); System.out.println("等待接收消息,把接收到的消息打印在屏幕....."); DeliverCallback deliverCallback = (consumerTag, delivery) -> { String message = new String(delivery.getBody(), "UTF-8"); System.out.println("控制台打印接收到的消息" + message); }; channel.basicConsume(queueName, true, deliverCallback, consumerTag -> { }); } }
ReceiveLogs02 将接收到的消息存储在磁盘
javapackage com.rainbowsea.rabbitmq.five; public class ReceiveLogs02 { private static final String EXCHANGE_NAME = "logs"; public static void main(String[] argv) throws Exception { Channel channel = RabbitUtils.getChannel(); channel.exchangeDeclare(EXCHANGE_NAME, "fanout"); /** * 生成一个临时的队列 队列的名称是随机的 * 当消费者断开和该队列的连接时 队列自动删除 */ String queueName = channel.queueDeclare().getQueue(); //把该临时队列绑定我们的 exchange 其中 routingkey(也称之为 binding key)为空字符串 channel.queueBind(queueName, EXCHANGE_NAME, ""); System.out.println("等待接收消息,把接收到的消息写到文件....."); DeliverCallback deliverCallback = (consumerTag, delivery) -> { String message = new String(delivery.getBody(), "UTF-8"); File file = new File("C:\\work\\rabbitmq_info.txt"); FileUtils.writeStringToFile(file, message, "UTF-8"); System.out.println("数据写入文件成功"); }; channel.basicConsume(queueName, true, deliverCallback, consumerTag -> { }); } }
EmitLog 发送消息给两个消费者接收
javapackage com.rainbowsea.rabbitmq.five; public class EmitLog { private static final String EXCHANGE_NAME = "logs"; public static void main(String[] argv) throws Exception { try (Channel channel = RabbitUtils.getChannel()) { /** * 声明一个 exchange * 1.exchange 的名称 * 2.exchange 的类型 */ channel.exchangeDeclare(EXCHANGE_NAME, "fanout"); Scanner sc = new Scanner(System.in); System.out.println("请输入信息"); while (sc.hasNext()) { String message = sc.nextLine(); channel.basicPublish(EXCHANGE_NAME, "", null, message.getBytes("UTF-8")); System.out.println("生产者发出消息" + message); } } } }
5. Direct(直接) exchange
上面我们构建了一个简单的日志记录系统。我们能够向许多接收者广播日志消息。在本 节我们将向其中添加一些特别的功能-比方说我们只让某个消费者订阅发布的部分消息。例如我们只把 严重错误消息定向存储到日志文件(以节省磁盘空间),同时仍然能够在控制台上打印所有日志消息。 我们再次来回顾一下什么是 bindings,绑定是交换机和队列之间的桥梁关系。也可以这么理解: 队列只对它绑定的交换机的消息感兴趣 。绑定用参数:routingKey 来表示也可称该参数为 binding key, 创建绑定我们用代码: channel.queueBind(queueName, EXCHANGE_NAME, "routingKey");
绑定之后的 意义由其交换类型决定。
我们的日志系统将所有消息广播给所有消费者,对此我们想做一些改变,例如我们希 望将日志消息写入磁盘的程序仅接收严重错误(errros),而不存储哪些警告(warning)或信息(info)日志 消息避免浪费磁盘空间。Fanout 这种交换类型并不能给我们带来很大的灵活性-它只能进行无意识的 广播,在这里我们将使用 direct 这种类型来进行替换,这种类型的工作方式是,消息只去到它绑定的 routingKey 队列中去。
根据路由键精确匹配(一模一样)进行路由消息队列;
- 在上面这张图中,我们可以看到 X 绑定了两个队列,绑定类型是 direct。队列 Q1 绑定键为 orange, 队列 Q2 绑定键有两个:一个绑定键为 black,另一个绑定键为 green.
- 在这种绑定情况下,生产者发布消息到 exchange 上,绑定键为 orange 的消息会被发布到队列 Q1。绑定键为 blackgreen 和的消息会被发布到队列 Q2,其他消息类型的消息将被丢弃。
实战:
编写生产者,向 (DIRECT
直接类型的交换机),当中的 队列的 Routing key 为error
的队列发送消息。
java
package com.rainbowsea.rabbitmq.six;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import com.rainbowsea.rabbitmq.utils.RabbitMQUtils;
import java.io.IOException;
import java.util.Scanner;
import java.util.concurrent.TimeoutException;
public class DirectLogs {
// 交换机名为 : direct_logs
private static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
// 声明一个交换机 BuiltinExchangeType.DIRECT(直接)
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
Scanner scanner = new Scanner(System.in);
while (scanner.hasNext()) {
String message = scanner.next();
channel.basicPublish(EXCHANGE_NAME,"error",null,message.getBytes("UTF-8"));
System.out.println("生产者发出消息" + message);
}
}
}
编写两个消费者:
- 一个消费者,仅仅读取:队列为
disk
并且Routing key 为 error
的消息内容
java
package com.rainbowsea.rabbitmq.six;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import com.rainbowsea.rabbitmq.utils.RabbitMQUtils;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
public class ReceiveLogsDirect01 {
// 交换机名为 : direct_logs
private static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
// 声明一个交换机 BuiltinExchangeType.DIRECT(直接)
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
// 声明一个队列,队列名为 disk
channel.queueDeclare("disk", false, false, false, null);
// 绑定交换机与队列, 该 disk 队列的 Routing key 为 error
channel.queueBind("disk", EXCHANGE_NAME, "error");
System.out.println("ReceiveLogsDirect01 等待接收消息,把接收到消息打印在屏幕上...");
// 接收消息
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("ReceiveLogsDirect01 接收到的消息" + new String(message.getBody(), "UTF-8"));
};
// 消费者取消消息时回调接口
// 第一个参数,队列
channel.basicConsume("disk", true, deliverCallback, consumerTage -> {
});
}
}
- 一个消费者,仅仅读取:队列为
console
并且Routing key 为 info 或者是 warning
的消息内容
java
package com.rainbowsea.rabbitmq.six;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import com.rainbowsea.rabbitmq.utils.RabbitMQUtils;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
public class ReceiveLogsDirect02 {
// 交换机名为 : direct_logs
private static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
// 声明一个交换机 BuiltinExchangeType.DIRECT(直接)
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
// 声明一个队列,队列名为 disk
channel.queueDeclare("console", false, false, false, null);
// 绑定交换机与队列, 该 console 队列的 Routing key 为 info和 warning 两个
channel.queueBind("console", EXCHANGE_NAME, "info");
channel.queueBind("console", EXCHANGE_NAME, "warning");
System.out.println("ReceiveLogsDirect02 等待接收消息,把接收到消息打印在屏幕上...");
// 接收消息
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("ReceiveLogsDirect02 接收到的消息" + new String(message.getBody(), "UTF-8"));
};
// 消费者取消消息时回调接口
// 第一个参数,队列 console
channel.basicConsume("console", true, deliverCallback, consumerTage -> {
});
}
}
运行测试:
多重绑定:
当然如果 exchange 的绑定类型是 direct,但是它绑定的多个队列的 key 如果都相同 ,在这种情 况下虽然绑定类型是 direct 但是它表现的就和 fanout 有点类似了,就跟广播差不多,如上图所示。
6. Topic(主题) Exchange
我们改进了日志记录系统。我们没有使用只能进行随意广播的 fanout 交换机,而是 使用了 direct 交换机,从而有能实现有选择性地接收日志。
尽管使用 direct 交换机改进了我们的系统,但是它仍然存在局限性-比方说我们想接收的日志类型有 info.base
和 info.advantage
,某个队列只想 info.base
的消息,那这个时候 direct 就办不到了。这个时候 就只能使用 topic 类型
Topic 的要求:
发送到类型是 topic 交换机的消息的routing key
不能随意写,必须满足一定的要求,它必须是一个单词列表,并且以点号.
分隔开 。这些单词可以是任意单词,比如说:"stock.usd.nyse","nyse.vmw","quick.orange.rabbit"
这种类型的。当然这个单词列表最多不能超过 255 个字节。
在这个规则列表中,其中有两个替换符是特别需要注意的:
*(星号)
可以代替一个单词,注意是一个单词,不是一个字母#(井号)
可以替代零个或多个单词,注意是一个单词,不是一个字母
当队列绑定关系是下列这种情况时需要引起注意
- 当一个队列绑定键是
#
,那么这个队列将接收所有数据,就有点像fanout 扇出,广播
- 如果队列绑定键当中没有
#
和*
出现,那么该队列绑定类型就是direct 直接匹配的方式
Topic 匹配案例:
下图绑定关系如下
- Q1-->绑定的是
- 中间带 orange 带 3 个单词的字符串
(*.orange.*)
- 中间带 orange 带 3 个单词的字符串
- Q2-->绑定的是
- 最后一个单词是 rabbit 的 3 个单词
(*.*.rabbit)
第一个单词是 lazy 的多个单词(lazy.#)
- 最后一个单词是 rabbit 的 3 个单词
上图是一个队列绑定关系图,我们来看看他们之间数据接收情况是怎么样的
java
quick.orange.rabbit 被队列 Q1Q2 接收到
lazy.orange.elephant 被队列 Q1Q2 接收到
quick.orange.fox 被队列 Q1 接收到
lazy.brown.fox 被队列 Q2 接收到
lazy.pink.rabbit 虽然满足两个绑定但只被队列 Q2 接收一次
quick.brown.fox 不匹配任何绑定不会被任何队列接收到会被丢弃
quick.orange.male.rabbit 是四个单词不匹配任何绑定会被丢弃
lazy.orange.male.rabbit 是四个单词但匹配 Q2
编写生产者,向 topic_logs 交换机(TOPIC 主题的交换机)发送消息 ,这里我们使用上 Map 存储发送的信息。
java
package com.rainbowsea.rabbitmq.seven;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import com.rainbowsea.rabbitmq.utils.RabbitMQUtils;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;
import java.util.Scanner;
import java.util.concurrent.TimeoutException;
public class EmitLogTopic {
// 交换机名为 : topic_logs
private static final String EXCHANGE_NAME = "topic_logs";
/*
- Q1-->绑定的是
- 中间带 orange 带 3 个单词的字符串 (*.orange.*)
- Q2-->绑定的是
- 最后一个单词是 rabbit 的 3 个单词(*.*.rabbit) 第一个单词是 lazy 的多个单词(lazy.#)
*/
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
// 声明一个交换机 BuiltinExchangeType.TOPIC(主题)
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
Map<String, String> bindingKeyMap = new HashMap<>();
bindingKeyMap.put("quick.orange.rabbit", "被队列 Q1Q2 接收到");
bindingKeyMap.put("lazy.orange.elephant", "被队列 Q1Q2 接收到");
bindingKeyMap.put("quick.orange.fox", "被队列 Q1 接收到");
bindingKeyMap.put("lazy.brown.fox", "被队列 Q2 接收到");
bindingKeyMap.put("lazy.pink.rabbit", "虽然满足两个绑定但只被队列 Q2 接收一次");
bindingKeyMap.put("quick.brown.fox", "不匹配任何绑定不会被任何队列接收到会被丢弃");
bindingKeyMap.put("quick.orange.male.rabbit", "是四个单词不匹配任何绑定会被丢弃");
bindingKeyMap.put("lazy.orange.male.rabbit", "是四个单词但匹配 Q2");
for (Map.Entry<String, String> bindingKeyEntry : bindingKeyMap.entrySet()) {
String routingKey = bindingKeyEntry.getKey();
String message = bindingKeyEntry.getValue();
channel.basicPublish(EXCHANGE_NAME, routingKey, null, message.getBytes("UTF-8"));
System.out.println("生产者发出消息: " + message);
}
}
}
编写一个消费者,仅仅读取:Routing key 为 *.orange.*
匹配的队列的消息
java
package com.rainbowsea.rabbitmq.seven;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import com.rainbowsea.rabbitmq.utils.RabbitMQUtils;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
public class ReceiveLogsTopic01 {
// 交换机名为 : topic_logs
private static final String EXCHANGE_NAME = "topic_logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
// 声明一个交换机 BuiltinExchangeType.TOPIC(主题)
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
// 声明一个队列,队列名为 Q1
String queueName = "Q1";
channel.queueDeclare(queueName, false, false, false, null);
// 绑定交换机与队列, 该 Q1 队列的 Routing key 为 *.orange.*
channel.queueBind(queueName, EXCHANGE_NAME, "*.orange.*");
System.out.println("Q1 等待接收消息,把接收到消息打印在屏幕上...");
// 接收消息
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("Q1 接收到的消息" + new String(message.getBody(), "UTF-8"));
System.out.println("Q1 接收队列:" + queueName + "绑定键" + message.getEnvelope().getRoutingKey());
};
// 消费者取消消息时回调接口
// 第一个参数,队列 queueName
channel.basicConsume(queueName, true, deliverCallback, consumerTage -> {
});
}
}
编写一个消费者,仅仅读取:Routing key 为 *.orange.* 和 "lazy.#"
匹配的队列的消息
java
package com.rainbowsea.rabbitmq.seven;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import com.rainbowsea.rabbitmq.utils.RabbitMQUtils;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
public class ReceiveLogsTopic02 {
// 交换机名为 : topic_logs
private static final String EXCHANGE_NAME = "topic_logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMQUtils.getChannel();
// 声明一个交换机 BuiltinExchangeType.TOPIC(主题)
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
// 声明一个队列,队列名为 Q2
String queueName = "Q2";
channel.queueDeclare(queueName, false, false, false, null);
// 绑定交换机与队列, 该 Q2 队列的 Routing key 为 *.orange.* 和 "lazy.#"
channel.queueBind(queueName, EXCHANGE_NAME, "*.*.rabbit");
channel.queueBind(queueName, EXCHANGE_NAME, "lazy.#");
System.out.println("Q2 等待接收消息,把接收到消息打印在屏幕上...");
// 接收消息
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("Q2 接收到的消息" + new String(message.getBody(), "UTF-8"));
System.out.println("Q2 接收队列:" + queueName + "绑定键" + message.getEnvelope().getRoutingKey());
};
// 消费者取消消息时回调接口
// 第一个参数,队列 queueName
channel.basicConsume(queueName, true, deliverCallback, consumerTage -> {
});
}
}
运行执行效果:
从运行结果上看,我们可以明显的看到,消费者根据对应的
Routing key
匹配而读取,对应的消息队列上的消息内容。
7. 最后:
"在这个最后的篇章中,我要表达我对每一位读者的感激之情。你们的关注和回复是我创作的动力源泉,我从你们身上吸取了无尽的灵感与勇气。我会将你们的鼓励留在心底,继续在其他的领域奋斗。感谢你们,我们总会在某个时刻再次相遇。"