linux 安装 canal 的详细步骤

Canal 是阿里巴巴开源的 MySQL 数据库 binlog 的增量订阅&消费组件,在 Linux 系统上安装 Canal 的步骤如下:

一、环境准备

  1. JDK 安装

    Canal 依赖 Java 环境,需安装 JDK 8 及以上版本:

    bash 复制代码
    # 以 OpenJDK 为例
    sudo apt update  # Ubuntu/Debian
    sudo apt install openjdk-11-jdk
    
    # 或 CentOS/RHEL
    sudo yum install java-11-openjdk-devel
    
    # 验证安装
    java -version
  2. 配置 MySQL

    修改 MySQL 配置文件(通常是 /etc/mysql/my.cnf/etc/my.cnf):

    ini 复制代码
    [mysqld]
    log-bin=mysql-bin       # 开启 binlog
    binlog-format=ROW       # binlog 格式,必须为 ROW
    server-id=1             # MySQL 实例唯一 ID

    重启 MySQL 并创建 Canal 专用账号:

    sql 复制代码
    CREATE USER 'canal'@'%' IDENTIFIED BY 'canal';
    GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
    FLUSH PRIVILEGES;

二、下载并安装 Canal

  1. 下载 Canal 发行包

    Canal GitHub 仓库 下载最新稳定版(例如 canal.deployer-1.1.5.tar.gz):

    bash 复制代码
    wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz
    tar -zxvf canal.deployer-1.1.5.tar.gz -C /opt/canal/
  2. 配置 Canal 实例

    进入 conf 目录,复制示例配置并编辑:

    bash 复制代码
    cd /opt/canal/conf/
    cp example instance_name  # instance_name 为自定义实例名,如 mysql_test
    cd instance_name
    vi instance.properties

    修改以下配置项:

    properties 复制代码
    canal.instance.master.address=127.0.0.1:3306  # MySQL 地址和端口
    canal.instance.dbUsername=canal                # MySQL 用户名
    canal.instance.dbPassword=canal                # MySQL 密码
    canal.instance.defaultDatabaseName=            # 监控的数据库,留空则监控所有
    canal.instance.connectionCharset=UTF-8        # 字符集
    canal.instance.filter.regex=.*\\..*            # 表过滤规则,例如 test\\..* 表示 test 库下的所有表

三、启动 Canal

  1. 启动脚本

    使用内置脚本启动 Canal 服务:

    bash 复制代码
    cd /opt/canal/bin
    ./startup.sh [instance_name]  # 可选实例名,不指定则启动所有实例
  2. 查看日志

    检查服务是否正常启动:

    bash 复制代码
    # 查看主服务日志
    cat /opt/canal/logs/canal/canal.log
    
    # 查看实例日志
    cat /opt/canal/logs/instance_name/instance.log

    若看到 start successful 则表示启动成功。

四、验证安装

  1. 客户端测试

    使用 Canal 自带的客户端工具测试连接:

    bash 复制代码
    cd /opt/canal/bin
    ./canal_client.sh

    在客户端中输入 show info 查看状态。

  2. 编程验证

    通过代码连接 Canal Server,消费 binlog 数据(以 Java 为例):

    java 复制代码
    // 添加依赖(Maven)
    <dependency>
        <groupId>com.alibaba.otter</groupId>
        <artifactId>canal.client</artifactId>
        <version>1.1.5</version>
    </dependency>
    
    // 代码示例
    CanalConnector connector = CanalConnectors.newSingleConnector(
        new InetSocketAddress("127.0.0.1", 11111),
        "instance_name", "", "");
    connector.connect();
    connector.subscribe(".*\\..*");
    
    while (true) {
        Message message = connector.get(100);
        List<CanalEntry.Entry> entries = message.getEntries();
        // 处理 entries...
    }

五、停止服务

bash 复制代码
cd /opt/canal/bin
./stop.sh [instance_name]  # 可选实例名,不指定则停止所有

常见问题

  1. 连接失败

    检查 MySQL 配置、用户权限及网络连通性。

  2. 权限不足

    确保 Canal 账号拥有 REPLICATION SLAVEREPLICATION CLIENT 权限。

  3. 内存溢出

    编辑 bin/startup.sh,调整 JVM 内存参数(如 JAVA_OPTS="-Xms256m -Xmx512m")。

通过以上步骤,你可以在 Linux 系统上成功安装并配置 Canal,实现 MySQL binlog 的增量订阅与消费。

相关推荐
星宸追风18 分钟前
Ubuntu更换Home目录所在硬盘的过程
linux·运维·ubuntu
制造数字化方案研究院32 分钟前
59页|PPT|华为集成服务交付ISD业务变革总体方案:业务规则、流程、IT、组织及度量“四位一体”的管理体系
运维·华为
热爱生活的猴子43 分钟前
Poetry 在 Linux 和 Windows 系统中的安装步骤
linux·运维·windows
渲吧-云渲染1 小时前
云渲染时,电脑能关机吗?关键阶段操作指南
运维·服务器·电脑
BD_Marathon1 小时前
Ubuntu下的Tomcat服务器部署
服务器·ubuntu·tomcat
m0_694845571 小时前
服务器需要备案吗?在哪些地区需要备案?
linux·运维·服务器·云计算
myloveasuka1 小时前
[Linux]内核态与用户态详解
linux
@BreCaspian1 小时前
在HP暗影精灵Ubuntu20.04上修复IntelAX211Wi-Fi不可用的全过程记录——系统安装以后没有WIFI图标&无法使用无线网
linux
小眼睛FPGA1 小时前
【RK3568+PG2L50H开发板实验例程】Linux部分/FPGA dma_memcpy_demo 读写案例
linux·运维·科技·ai·fpga开发·gpu算力
weixin_437398212 小时前
转Go学习笔记
linux·服务器·开发语言·后端·架构·golang