监听RabbitMQ,向Elasticsearch 创建索引

上一篇通过配置Canal+MQ的数据同步环境,实现了Canal从数据库读取binlog并且将数据写入MQ。

下边编写程序监听MQ,收到消息后向ES创建索引。

1. 环境准备

  • RabbitMQ :已配置并运行,Canal 已将 MySQL 的 binlog 消息发送到 RabbitMQ 队列中。
  • Elasticsearch:已运行,并可以通过 REST API 访问。
  • Spring Boot 项目 :通过 spring-boot-starter-amqpspring-boot-starter-data-elasticsearch 集成 RabbitMQ 和 Elasticsearch。

2. 添加依赖

在 Spring Boot 项目的 pom.xml 中,添加 RabbitMQ 和 Elasticsearch 的依赖:

XML 复制代码
<dependencies>
    <!-- RabbitMQ Starter -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-amqp</artifactId>
    </dependency>
    
    <!-- Elasticsearch Starter -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
    </dependency>
</dependencies>

3. 配置 application.yml

配置文件中需要包含 RabbitMQ 和 Elasticsearch 的相关信息:

XML 复制代码
spring:
  rabbitmq:
    host: 127.0.0.1
    port: 5672
    username: guest
    password: guest
    listener:
      simple:
        acknowledge-mode: manual   # 手动ACK

  elasticsearch:
    rest:
      uris: http://localhost:9200
    connection-timeout: 1000
    socket-timeout: 30000

4. 创建 Elasticsearch 索引

定义一个实体类来映射 Elasticsearch 中的索引:

java 复制代码
import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.Document;

@Document(indexName = "user_index")
public class User {

    @Id
    private Long id;
    private String name;
    private String email;

    // getters and setters
}

5. 编写 Elasticsearch 的 Repository

创建一个 Elasticsearch 的 Repository,用于保存数据到索引中:

java 复制代码
import org.springframework.data.elasticsearch.repository.ElasticsearchRepository;

public interface UserRepository extends ElasticsearchRepository<User, Long> {
}

6. 监听 RabbitMQ 队列并同步到 Elasticsearch

创建一个 RabbitMQ 消息监听器,收到消息后解析并将数据存储到 Elasticsearch:

java 复制代码
import com.fasterxml.jackson.databind.ObjectMapper;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

@Service
public class CanalToEsSyncService {

    @Autowired
    private UserRepository userRepository;

    @Autowired
    private RabbitTemplate rabbitTemplate;

    private ObjectMapper objectMapper = new ObjectMapper();

    // 监听 Canal 发送到 RabbitMQ 的队列消息
    @RabbitListener(queues = "example_queue")
    public void handleCanalMessage(String message) {
        try {
            // 假设 Canal 发送的是 JSON 格式的消息,可以用 Jackson 解析
            User user = objectMapper.readValue(message, User.class);

            // 将解析的 User 对象存入 Elasticsearch
            userRepository.save(user);

            // 手动确认消息已成功消费
            System.out.println("Message processed and indexed to Elasticsearch: " + user);
        } catch (Exception e) {
            e.printStackTrace();
            // 处理失败,可以记录日志或根据需要重试
        }
    }
}
相关推荐
Elastic 中国社区官方博客1 小时前
释放专利力量:Patently 如何利用向量搜索和 NLP 简化协作
大数据·数据库·人工智能·elasticsearch·搜索引擎·自然语言处理
funnyZpC2 小时前
quartz集群增强版🎉
java·分布式·开源·集群·定时任务
明达技术2 小时前
工业4.0时代下的分布式IO模块
分布式
天冬忘忧4 小时前
Spark 程序开发与提交:本地与集群模式全解析
大数据·分布式·spark
一叶飘零_sweeeet5 小时前
Dubbo 构建高效分布式服务架构
分布式·架构·dubbo
孤蓬&听雨6 小时前
RabbitMQ自动发送消息工具(自动化测试RabbitMQ)
分布式·测试工具·自动化·rabbitmq·自动发送消息
呼啦啦啦啦啦啦啦啦6 小时前
RabbitMQ 七种工作模式介绍
分布式·rabbitmq
qq_203769496 小时前
win11安装最新rabbitmq
分布式·rabbitmq·ruby
Amagi.6 小时前
RabbitMQ的解耦、异步、削峰是什么?
分布式·rabbitmq
那你为何对我三笑留情6 小时前
六、Spring Boot集成Spring Security之前后分离项目认证流程最佳方案
java·spring boot·分布式·后端·spring·spring security