ES同步失败维护步骤(适用于修改了部分主键值导致同步失败)

维护步骤:

  1. 登录到ES服务器:192.168.111.141。

  2. 停止 Canal 和 Canal-Adapter 服务:

    复制代码
    cd /home/xiangtan/canal/bin
    ./stop.sh
    
    cd /home/xiangtan/canal-adapter/bin
    ./stop.sh
  3. 确定修改了主键值的表,例如 tbl_sparking,使用 Logstash 手动同步数据:

    复制代码
    cd /home/xiangtan/canal-adapter/elk
    sudo /usr/share/logstash/bin/logstash -f 8-tbl_sparking.conf
  4. 同步完成后,启动 Canal 服务,查看日志以确保启动成功:

    复制代码
    cd /home/xiangtan/canal/bin
    ./start.sh
    tail -f /home/xiangtan/canal/logs/example/example.log

    如果出现错误,需要先停止 Canal,然后删除 /home/xiangtan/canal/conf/example 下的 meta.dat 文件,再启动 Canal。

  5. 当 Canal 服务正常后,启动 Canal-Adapter 服务,并查看日志:

    复制代码
    cd /home/xiangtan/canal-adapter/bin
    ./start.sh
    tail -f /home/xiangtan/canal-adapter/logs/adapter/adapter.log
  6. 数据可能仍然不完整,需要使用 Logstash 手动同步全部数据:

    复制代码
    cd /home/xiangtan/canal-adapter/elk
    sudo /usr/share/logstash/bin/logstash -f 1-tbl_ps_device_info.conf 
    sudo /usr/share/logstash/bin/logstash -f 2-tbl_video_device_info.conf 
    sudo /usr/share/logstash/bin/logstash -f 3-tbl_ps_order_in.conf 
    sudo /usr/share/logstash/bin/logstash -f 4-tbl_ps_order_out.conf 
    sudo /usr/share/logstash/bin/logstash -f 5-tbl_user_info.conf 
    sudo /usr/share/logstash/bin/logstash -f 6-tbl_order_in_pay_log.conf 
    sudo /usr/share/logstash/bin/logstash -f 7-tbl_order_out_pay_log.conf 
    sudo /usr/share/logstash/bin/logstash -f 8-tbl_sparking.conf 
    sudo /usr/share/logstash/bin/logstash -f 9-tbl_account_payment_log.conf 
    sudo /usr/share/logstash/bin/logstash -f 10-tbl_parking_manager.conf 
    sudo /usr/share/logstash/bin/logstash -f 11-tbl_bat_txn.conf
    sudo /usr/share/logstash/bin/logstash -f 12-tbl_bat_pay_txn.conf 
    sudo /usr/share/logstash/bin/logstash -f 13-tbl_bse_info_mchnt.conf

这些步骤可帮助您维护服务器,确保 Canal 和 Canal-Adapter 服务正常运行,并手动同步数据以确保数据完整性。

最后把监控加上

复制代码
cd /home/xiangtan/canal-adapter/logs/adapter
nohup ./monitor.sh &
相关推荐
阿巴~阿巴~24 分钟前
Linux 第一个系统程序 - 进度条
linux·服务器·bash
运器12336 分钟前
【一起来学AI大模型】支持向量机(SVM):核心算法深度解析
大数据·人工智能·算法·机器学习·支持向量机·ai·ai编程
我科绝伦(Huanhuan Zhou)1 小时前
华为泰山服务器重启后出现 XFS 文件系统磁盘“不识别”(无法挂载或访问),但挂载点目录仍在且无数据
运维·服务器·华为
望获linux2 小时前
【Linux基础知识系列】第四十三篇 - 基础正则表达式与 grep/sed
linux·运维·服务器·开发语言·前端·操作系统·嵌入式软件
万米商云2 小时前
企业物资集采平台解决方案:跨地域、多仓库、百部门——大型企业如何用一套系统管好百万级物资?
大数据·运维·人工智能
BigData共享2 小时前
极致性能背后的黑科技?这个世上没有“银弹”!(三)
大数据
阿里云大数据AI技术2 小时前
Flink Forward Asia 2025 主旨演讲精彩回顾
大数据·人工智能·flink
y_y_liang3 小时前
图生生AI商品换背景,高效商拍!
大数据·人工智能·ai·ai作画
王小王-1233 小时前
基于Hadoop的用户购物行为可视化分析系统设计与实现
大数据·hadoop·分布式·用户购物行为·电商日志分析
沐尘而生3 小时前
【AI智能体】智能音视频-硬件设备基于 WebSocket 实现语音交互
大数据·人工智能·websocket·机器学习·ai作画·音视频·娱乐