SpringBoot快速整合canal1.1.5（TCP模式）

摸鱼打酱油2023-11-03 5:09

SpringBoot快速整合canal1.1.5（TCP模式）

安装并配置MySQL主从⭐
  • 1：Docker安装MySQL8.0.28
shell 复制代码 
docker pull mysql:8.0.28
  • 2：创建目录：
shell 复制代码 
mkdir -p /usr/local/mysql8/data
mkdir -p /usr/local/mysql8/log
mkdir -p /usr/local/mysql8/my.conf.d
chmod -R 777 /usr/local/mysql8/
  • 3：编写my.cnf文件：
shell 复制代码 
vi /usr/local/mysql8/my.conf.d/my.cnf

内容如下：（注意：把binlog-do-db的值修改成你需要canal监听的数据库名称，如果需要监听多个数据库，一定要在下面写多个binlog-do-db，而不是用","分隔）

properties 复制代码 
[client]
# 默认字符集
# default_character_set=utf8
[mysqld]
server-id=138
# 开启二进制日志功能
log-bin=mysql-slave-bin
# binlog 记录内容的方式，记录被操作的每一行
binlog_format = ROW
# ------- >>>>指定监听的数据库（防止监听所有数据库）<<<<<----------
binlog-do-db=security-jwt-db
# 忽略大小写
lower_case_table_names=1
pid-file= /var/run/mysqld/mysqld.pid
socket= /var/run/mysqld/mysqld.sock
# 数据库数据存放目录
datadir= /var/lib/mysql
secure-file-priv= NULL
skip-symbolic-links=0
# 最大链接数
max_connections=200
# 最大失败次数
max_connect_errors=10
# 默认时区
default-time_zone='+8:00'
character-set-client-handshake=FALSE
character_set_server=utf8mb4
# default-character-set=utf8
collation-server=utf8mb4_unicode_ci
init_connect='SET NAMES utf8mb4 COLLATE utf8mb4_unicode_ci'
# 默认使用'mysql_native_password'插件认证
default_authentication_plugin=mysql_native_password
  • 4：启动MySQL容器：
shell 复制代码 
docker run \
    --name mysql8.0.28 \
    --privileged=true \
    --restart=always \
    -it -p 3308:3306 \
    -v /usr/local/mysql8/data:/var/lib/mysql \
    -v /usr/local/mysql8/log:/var/log/mysql \
    -v /usr/local/mysql8/my.conf.d/my.cnf:/etc/mysql/my.cnf \
    -e MYSQL_ROOT_PASSWORD=123456 \
    -d mysql:8.0.28
  • 5：查看mysql容器是否启动成功：
shell 复制代码 
[root@centos7-sql my.conf.d]# docker ps
CONTAINER ID   IMAGE          COMMAND                  CREATED          STATUS          PORTS                                                  NAMES
ca41de7447ab   mysql:8.0.28   "docker-entrypoint.s..."   12 seconds ago   Up 11 seconds   33060/tcp, 0.0.0.0:3308->3306/tcp, :::3308->3306/tcp   mysql8.0.28
  • 6：修改密码连接模式（mysql8.0版本都要进行修改）：
shell 复制代码 
docker exec -it mysql /bin/bash
mysql -uroot -p'123456'
sql 复制代码 
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
  • 7：在MySQL中创建一个canal用户，专门用作数据同步：
sql 复制代码 
create user 'canal'@'%' IDENTIFIED WITH mysql_native_password BY 'canal';

GRANT all privileges ON *.* TO 'canal'@'%';

FLUSH PRIVILEGES;
  • 8：退出并重启MySQL容器：
shell 复制代码 
docker restart mysql
docker安装canal1.1.5（版本要对应）⭐
  • 1：拉取canal1.1.5镜像：
shell 复制代码 
docker pull canal/canal-server:v1.1.5
  • 2：运行canal容器：
shell 复制代码 
docker run -p 11111:11111 --name canal \
-e canal.destinations=example \
-e canal.instance.master.address=192.168.184.123:3308  \
-e canal.instance.dbUsername=canal  \
-e canal.instance.dbPassword=canal  \
-e canal.instance.connectionCharset=UTF-8 \
-e canal.instance.tsdb.enable=true \
-e canal.instance.gtidon=false  \
-e canal.instance.filter.regex=security-jwt-db\\..* \
-d canal/canal-server:v1.1.5

核心说明:（只有下面的6个参数才需要我们手动根据自己情况配置，其他可以不用变）

  • -p 11111:11111：这是canal的默认监听端口
  • -e canal.instance.master.address=192.168.184.123:3308：数据库地址和端口（一定要设置成你的MySQL对外暴露的IP和端口号才行）
  • -e canal.instance.dbUsername=canal：数据库中canal用户的用户名（也就是我们之前单独创建的用户）
  • -e canal.instance.dbPassword=canal ：数据库中canal用户的密码（也就是我们之前单独创建的用户）
  • -e canal.instance.filter.regex=security-jwt-db\\..*：要监听的表名称（我们这个配置的意思是：监听security-jwt-db数据库下的所有表）
  • --network：输入我们刚刚创建好的自定义网络，让canal也加入到和MySQL同一个网络中去。

表名称监听支持的语法：

mysql 数据解析关注的表，Perl正则表达式.
多个正则之间以逗号(,)分隔，转义符需要双斜杠(\\) 
常见例子：
1.  所有表：.*   or  .*\\..*
2.  canal schema下所有表： canal\\..*
3.  canal下的以canal打头的表：canal\\.canal.*
4.  canal schema下的一张表：canal.test1
5.  多个规则组合使用然后以逗号隔开：canal\\..*,mysql.test1,mysql.test2
整合SpringBoot项目⭐
  • 1：导入依赖：（这个依赖并不是alibaba官方的，而是由其他人帮我们整合了SpringBoot项目，我们只需要去导入这个依赖，再做一些简单的配置即可，非常方便！）
    • 注意：canal-spring-boot-starter的1.2.1-RELEASE版本匹配的是canal的1.1.5版本（canal的新版本没有去试过，不知道有没有问题）
xml 复制代码 
<!--        springboot整合canal1.1.5（因为canal-spring-boot-starter的1.2.1-RELEASE版本匹配的是canal的1.1.5版本） -->
        <dependency>
            <groupId>top.javatool</groupId>
            <artifactId>canal-spring-boot-starter</artifactId>
            <version>1.2.1-RELEASE</version>
        </dependency>
  • 2：配置canal：（application.yml）
    • destination：也就是我们安装canal时执行的docker run ... canal中配置的-e canal.destinations的参数内容。
    • server：配置canal所在服务器ip+端口号（默认是11111），记得修改成自己的ip地址。
yaml 复制代码 
#配置alibaba-canal
canal:
  destination: example # canal数据同步的目的地。也就是我们安装canal时配置的example
  server: 192.168.184.123:11111 # canal的地址（canal所在服务器ip+端口号（默认是11111））
# 解决canal-spring-boot-starter一直输出日志
logging:
  level:
    top.javatool.canal.client: warn
  • 3：编写实体类（这个类也就是我们要监听操作的实体类）
java 复制代码 
@TableName(value="sys_oper_log")
@Data
@AllArgsConstructor
@NoArgsConstructor
@JsonInclude(JsonInclude.Include.NON_NULL)
@Builder
public class OperationLog implements Serializable {

    private static final long serialVersionUID = 1L;


    @TableId("id")
    @JsonSerialize(using = ToStringSerializer.class) //解决雪花算法生成的id过长导致前端js精度丢失问题（也就是js拿到的数据和后端不一致问题）
    @ApiModelProperty(name = "id",value = "主键")
    @ExcelProperty("id")
    private Long id;

    @TableField("username")
    @ApiModelProperty("执行操作的用户名")
    @ExcelProperty("执行操作的用户名")
    private String username;

    @TableField("type")
    @ApiModelProperty("操作类型")
    @ExcelProperty("操作类型")
    private String type;

    @TableField("uri")
    @ApiModelProperty("访问的接口uri")
    @ExcelProperty("访问的接口uri")
    private String uri;

    @TableField("time")
    @ApiModelProperty("访问接口耗时")
    @ExcelProperty("访问接口耗时")
    private String time;

    @TableField("ip")
    @ApiModelProperty("执行操作的用户的ip")
    @ExcelProperty("执行操作的用户的ip")
    private String ip;

    @TableField("address")
    @ApiModelProperty("执行操作的用户的ip对应的地址")
    @ExcelProperty("执行操作的用户的ip对应的地址")
    private String address;

    @TableField("browser")
    @ApiModelProperty("执行操作的用户所使用的浏览器")
    @ExcelProperty("执行操作的用户所使用的浏览器")
    private String browser;

    @TableField("os")
    @ApiModelProperty("执行操作的用户所使用的操作系统")
    @ExcelProperty("执行操作的用户所使用的操作系统")
    private String os;

    @TableField("oper_time")
    @ApiModelProperty("操作时间")
    @ExcelProperty(value = "操作时间",converter = LocalDateTimeConverter.class)
    private LocalDateTime operTime;

    @TableLogic//逻辑删除
    @TableField("del_flag")
    @ApiModelProperty("删除标志（0代表未删除，1代表已删除）")
    @ExcelProperty(value = "删除标志",converter = DelFlagConverter.class)
    private Integer delFlag;

}
  • 4：创建一个中转类（也就是说我们报错的原因是OperationLog类中的LocalDateTime属性，这个时候我们可以创建一个新的类，其他字段不变，把这个LocalDateTime日期类变成String就可以解决这个bug）
    • 原因：（这是由于canal+SpringBoot中的StringConvertUtil类的源码的问题）：
      • 可以看到下面的源码没有对LocalDateTime转LocalDatetime进行处理，而是把LocalDateTime转为String类型进行返回（问题出在type.equals(java.sql.Date.class) ? parseDate(columnValue) : columnValue）,而columnValue是String类型，所以我们可以用String类型去接收LocalDateTime类型。
java 复制代码 
package com.boot.entity;

import com.alibaba.excel.annotation.ExcelProperty;
import com.baomidou.mybatisplus.annotation.TableField;
import com.baomidou.mybatisplus.annotation.TableId;
import com.baomidou.mybatisplus.annotation.TableLogic;
import com.baomidou.mybatisplus.annotation.TableName;
import com.boot.converter.DelFlagConverter;
import com.boot.converter.LocalDateTimeConverter;
import com.fasterxml.jackson.annotation.JsonInclude;
import com.fasterxml.jackson.databind.annotation.JsonSerialize;
import com.fasterxml.jackson.databind.ser.std.ToStringSerializer;
import io.swagger.annotations.ApiModelProperty;
import lombok.AllArgsConstructor;
import lombok.Builder;
import lombok.Data;
import lombok.NoArgsConstructor;

import javax.persistence.Column;
import java.io.Serializable;
import java.time.LocalDateTime;


/**
 * 操作日志canal中转类。解决OperationLog类中的LocalDatetime类型的字段无法被canal接收导致报错
 *
 * @author youzhengjie
 * @date 2022/10/30 21:16:54
 */
@Data
@AllArgsConstructor
@NoArgsConstructor
@JsonInclude(JsonInclude.Include.NON_NULL)
@Builder
public class OperationLogCanal implements Serializable {

    private static final long serialVersionUID = 1L;

    private Long id;

    private String username;

    private String type;

    private String uri;

    private String time;

    private String ip;

    private String address;

    private String browser;

    private String os;

    //canal+springboot当属性名和数据库字段不一致时，要用@Column去指定数据库字段名，否则会接收不到canal数据
    @Column(name = "oper_time")
    private String operTime;

    //canal+springboot当属性名和数据库字段不一致时，要用@Column去指定数据库字段名，否则会接收不到canal数据
    @Column(name = "del_flag")
    private Integer delFlag;

}
  • 5：OperationLogService
java 复制代码 
package com.boot.service;

import com.baomidou.mybatisplus.extension.service.IService;
import com.boot.entity.OperationLog;

import java.util.List;

/**
 * 操作日志服务
 *
 * @author youzhengjie
 * @date 2022/10/21 23:32:14
 */
public interface OperationLogService extends IService<OperationLog> {

   
    long selectAllOperationLogCount();

    /**
     * 添加操作日志到elasticsearch
     *
     * @param operationLog 操作日志
     * @return boolean
     */
    boolean addOperationLogToEs(OperationLog operationLog);

    /**
     * 根据id删除elasticsearch中的操作日志
     *
     * @param id id
     * @return boolean
     */
    boolean deleteOperationLogToEs(Long id);


    /**
     * 更新elasticsearch中的操作日志
     *
     * @param operationLog 操作日志
     * @return boolean
     */
    boolean updateOperationLogToEs(OperationLog operationLog);

}
  • 6：OperationLogServiceImpl
java 复制代码 
package com.boot.service.impl;

import cn.hutool.core.bean.BeanUtil;
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import com.boot.entity.OperationLog;
import com.boot.mapper.OperationLogMapper;
import com.boot.service.OperationLogService;
import lombok.extern.slf4j.Slf4j;
import org.elasticsearch.action.delete.DeleteRequest;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.update.UpdateRequest;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.client.core.CountRequest;
import org.elasticsearch.client.core.CountResponse;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.sort.SortOrder;
import org.springframework.beans.BeanUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.io.IOException;
import java.util.ArrayList;
import java.util.LinkedList;
import java.util.List;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;

/**
 * 操作日志服务impl
 *
 * @author youzhengjie
 * @date 2022/10/21 23:42:49
 */
@Service
@Slf4j
public class OperationLogServiceImpl extends ServiceImpl<OperationLogMapper, OperationLog> implements OperationLogService {

    @Autowired
    private OperationLogMapper operationLogMapper;

    @Autowired
    private RestHighLevelClient restHighLevelClient;

    /**
     * 操作日志的es索引
     */
    private static final String OPER_LOG_INDEX="operation-log-index";

    @Override
    public boolean addOperationLogToEs(OperationLog operationLog) {

        try {
            IndexRequest indexRequest = new IndexRequest(OPER_LOG_INDEX);
            indexRequest.id(operationLog.getId().toString());

            Map<String, Object> sources = new ConcurrentHashMap<>();
            sources.put("username", operationLog.getUsername());
            sources.put("type", operationLog.getType());
            sources.put("uri", operationLog.getUri());
            sources.put("time", operationLog.getTime());
            sources.put("ip", operationLog.getIp());
            sources.put("address",operationLog.getAddress());
            sources.put("browser", operationLog.getBrowser());
            sources.put("os", operationLog.getOs());
            sources.put("operTime", operationLog.getOperTime());
            sources.put("delFlag", operationLog.getDelFlag());

            indexRequest.source(sources);

            restHighLevelClient.index(indexRequest,RequestOptions.DEFAULT);
            return true;
        }catch (Exception e){
            e.printStackTrace();
            return false;
        }

    }

    @Override
    public boolean deleteOperationLogToEs(Long id) {

        try {
            DeleteRequest deleteRequest = new DeleteRequest(OPER_LOG_INDEX);
            deleteRequest.id(id.toString());
            restHighLevelClient.delete(deleteRequest,RequestOptions.DEFAULT);
            return true;
        }catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }

    @Override
    public boolean updateOperationLogToEs(OperationLog operationLog) {

        try {
            //将operationLog封装成Map
            Map<String,Object> operationLogMap=new ConcurrentHashMap<>();
            //将operationLog拷贝到Map中
            BeanUtil.copyProperties(operationLog,operationLogMap);
            //把map中的id去掉
            operationLogMap.remove("id");

            String idStr = operationLog.getId().toString();
            UpdateRequest updateRequest = new UpdateRequest(OPER_LOG_INDEX,idStr);
            updateRequest.doc(operationLogMap);
            restHighLevelClient.update(updateRequest,RequestOptions.DEFAULT);
            return true;
        }catch (Exception e){
            e.printStackTrace();
            return false;
        }

    }

}
  • 7：创建一个canal监听类（非常核心），指定监听一个表（这里我监听的是sys_oper_log表）：
java 复制代码 
package com.boot.canal;

import cn.hutool.core.bean.BeanUtil;
import com.boot.entity.OperationLog;
import com.boot.entity.OperationLogCanal;
import com.boot.service.OperationLogService;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import top.javatool.canal.client.annotation.CanalTable;
import top.javatool.canal.client.handler.EntryHandler;

/**
 * 操作日志canal处理器
 *
 * @author youzhengjie
 * @date 2022/10/30 15:19:09
 */
@CanalTable("sys_oper_log") //@CanalTable("sys_oper_log")：指定canal监听的表名为sys_oper_log
@Component
@Slf4j
public class OperationLogCanalHandle implements EntryHandler<OperationLogCanal> {

    @Autowired
    private OperationLogService operationLogService;

    @Override
    public void insert(OperationLogCanal operationLogCanal) {

        //编写mysql和缓存同步的逻辑（例如JVM本地缓存、Redis分布式缓存、es等）
        OperationLog operationLog = new OperationLog();
        //bean拷贝
        BeanUtil.copyProperties(operationLogCanal,operationLog);
        //同步到es中
        operationLogService.addOperationLogToEs(operationLog);
        log.warn("OperationLogCanalHandle->insert->开始同步->"+operationLog);

    }

    /**
     * 更新
     *
     * @param before 之前
     * @param after  之后
     */
    @Override
    public void update(OperationLogCanal before, OperationLogCanal after) {

        //编写mysql和缓存同步的逻辑（例如JVM本地缓存、Redis分布式缓存、es等）
        OperationLog operationLog = new OperationLog();
        //注意：要拷贝after对象，这个对象是修改之后的对象
        BeanUtil.copyProperties(after,operationLog);
        //同步es
        operationLogService.updateOperationLogToEs(operationLog);
        log.warn("OperationLogCanalHandle->update->开始同步->"+operationLog);

    }

    @Override
    public void delete(OperationLogCanal operationLogCanal) {
        //编写mysql和缓存同步的逻辑（例如JVM本地缓存、Redis分布式缓存、es等）
        Long id = operationLogCanal.getId();
        //同步es
        operationLogService.deleteOperationLogToEs(id);
        log.warn("OperationLogCanalHandle->delete->开始同步->"+id);
    }
}
相关推荐
2401_8576226628 分钟前
SpringBoot框架下校园资料库的构建与优化
spring boot·后端·php
2402_8575893632 分钟前
“衣依”服装销售平台：Spring Boot框架的设计与实现
java·spring boot·后端
哎呦没2 小时前
大学生就业招聘：Spring Boot系统的架构分析
java·spring boot·后端
_.Switch2 小时前
Python Web 应用中的 API 网关集成与优化
开发语言·前端·后端·python·架构·log4j
编程、小哥哥2 小时前
netty之Netty与SpringBoot整合
java·spring boot·spring
小鹿( ﹡ˆoˆ﹡ )3 小时前
探索IP协议的神秘面纱：Python中的网络通信
python·tcp/ip·php
IT学长编程3 小时前
计算机毕业设计 玩具租赁系统的设计与实现 Java实战项目 附源码+文档+视频讲解
java·spring boot·毕业设计·课程设计·毕业论文·计算机毕业设计选题·玩具租赁系统
杨哥带你写代码4 小时前
足球青训俱乐部管理：Spring Boot技术驱动
java·spring boot·后端
AskHarries4 小时前
读《show your work》的一点感悟
后端
A尘埃4 小时前
SpringBoot的数据访问
java·spring boot·后端
热门推荐
01【经验分享】Ubuntu22.04安装微信(linux官方版)02组基轨迹建模 GBTM的介绍与实现（Stata 或 R）032024年高教社杯数学建模国赛C题超详细解题思路分析04CTF网络安全大赛简单的web抓包题目：HEADache05安卓系列机型永久去除data分区加密 详细步骤解析06【2024数模国赛赛题思路公开】国赛B题思路丨附可运行代码丨无偿自提07pve(Proxmox VE)安装i225v网卡驱动08Ubuntu24.04安装中文输入法09【2024高教社杯全国大学生数学建模竞赛】B题 生产过程中的决策问题——解题思路 代码 论文10分享几个惊艳的 Three.js 个人站点