ES同步失败维护步骤(适用于修改了部分主键值导致同步失败)

维护步骤:

  1. 登录到ES服务器:192.168.111.141。

  2. 停止 Canal 和 Canal-Adapter 服务:

    复制代码
    cd /home/xiangtan/canal/bin
    ./stop.sh
    
    cd /home/xiangtan/canal-adapter/bin
    ./stop.sh
  3. 确定修改了主键值的表,例如 tbl_sparking,使用 Logstash 手动同步数据:

    复制代码
    cd /home/xiangtan/canal-adapter/elk
    sudo /usr/share/logstash/bin/logstash -f 8-tbl_sparking.conf
  4. 同步完成后,启动 Canal 服务,查看日志以确保启动成功:

    复制代码
    cd /home/xiangtan/canal/bin
    ./start.sh
    tail -f /home/xiangtan/canal/logs/example/example.log

    如果出现错误,需要先停止 Canal,然后删除 /home/xiangtan/canal/conf/example 下的 meta.dat 文件,再启动 Canal。

  5. 当 Canal 服务正常后,启动 Canal-Adapter 服务,并查看日志:

    复制代码
    cd /home/xiangtan/canal-adapter/bin
    ./start.sh
    tail -f /home/xiangtan/canal-adapter/logs/adapter/adapter.log
  6. 数据可能仍然不完整,需要使用 Logstash 手动同步全部数据:

    复制代码
    cd /home/xiangtan/canal-adapter/elk
    sudo /usr/share/logstash/bin/logstash -f 1-tbl_ps_device_info.conf 
    sudo /usr/share/logstash/bin/logstash -f 2-tbl_video_device_info.conf 
    sudo /usr/share/logstash/bin/logstash -f 3-tbl_ps_order_in.conf 
    sudo /usr/share/logstash/bin/logstash -f 4-tbl_ps_order_out.conf 
    sudo /usr/share/logstash/bin/logstash -f 5-tbl_user_info.conf 
    sudo /usr/share/logstash/bin/logstash -f 6-tbl_order_in_pay_log.conf 
    sudo /usr/share/logstash/bin/logstash -f 7-tbl_order_out_pay_log.conf 
    sudo /usr/share/logstash/bin/logstash -f 8-tbl_sparking.conf 
    sudo /usr/share/logstash/bin/logstash -f 9-tbl_account_payment_log.conf 
    sudo /usr/share/logstash/bin/logstash -f 10-tbl_parking_manager.conf 
    sudo /usr/share/logstash/bin/logstash -f 11-tbl_bat_txn.conf
    sudo /usr/share/logstash/bin/logstash -f 12-tbl_bat_pay_txn.conf 
    sudo /usr/share/logstash/bin/logstash -f 13-tbl_bse_info_mchnt.conf

这些步骤可帮助您维护服务器,确保 Canal 和 Canal-Adapter 服务正常运行,并手动同步数据以确保数据完整性。

最后把监控加上

复制代码
cd /home/xiangtan/canal-adapter/logs/adapter
nohup ./monitor.sh &
相关推荐
呆呆小金人5 分钟前
SQL键类型详解:超键到外键全解析
大数据·数据库·数据仓库·sql·数据库开发·etl·etl工程师
怀旧,7 分钟前
【Linux系统编程】5. 基础开发⼯具(下)
linux·运维·服务器
StarRocks_labs20 分钟前
StarRocks 4.0:基于 Apache Iceberg 的 Catalog 中心化访问控制
大数据·apache
杰克崔26 分钟前
内核里常用宏BUG_ON/WARN_ON/WARN_ONCE
linux·运维·服务器
一枚正在学习的小白38 分钟前
k8s的包管理工具helm3--流程控制语句和变量(3)
linux·运维·服务器·云原生·kubernetes
梦子yumeko1 小时前
第六章langchain4j之Tools和prompt
大数据·prompt
AcrelGHP1 小时前
光储充微电网能量管理系统:构建绿色、高效、安全的能源未来
大数据·运维·人工智能
wudl55662 小时前
Flink RocksDB State Backend 详解
大数据·flink
Hello.Reader2 小时前
用一份 YAML 编排实时数据集成Flink CDC 工程实践
大数据·flink
不二人生2 小时前
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
大数据·flink·cdc