ES同步失败维护步骤(适用于修改了部分主键值导致同步失败)

维护步骤:

  1. 登录到ES服务器:192.168.111.141。

  2. 停止 Canal 和 Canal-Adapter 服务:

    cd /home/xiangtan/canal/bin
    ./stop.sh
    
    cd /home/xiangtan/canal-adapter/bin
    ./stop.sh
    
  3. 确定修改了主键值的表,例如 tbl_sparking,使用 Logstash 手动同步数据:

    cd /home/xiangtan/canal-adapter/elk
    sudo /usr/share/logstash/bin/logstash -f 8-tbl_sparking.conf
    
  4. 同步完成后,启动 Canal 服务,查看日志以确保启动成功:

    cd /home/xiangtan/canal/bin
    ./start.sh
    tail -f /home/xiangtan/canal/logs/example/example.log
    

    如果出现错误,需要先停止 Canal,然后删除 /home/xiangtan/canal/conf/example 下的 meta.dat 文件,再启动 Canal。

  5. 当 Canal 服务正常后,启动 Canal-Adapter 服务,并查看日志:

    cd /home/xiangtan/canal-adapter/bin
    ./start.sh
    tail -f /home/xiangtan/canal-adapter/logs/adapter/adapter.log
    
  6. 数据可能仍然不完整,需要使用 Logstash 手动同步全部数据:

    cd /home/xiangtan/canal-adapter/elk
    sudo /usr/share/logstash/bin/logstash -f 1-tbl_ps_device_info.conf 
    sudo /usr/share/logstash/bin/logstash -f 2-tbl_video_device_info.conf 
    sudo /usr/share/logstash/bin/logstash -f 3-tbl_ps_order_in.conf 
    sudo /usr/share/logstash/bin/logstash -f 4-tbl_ps_order_out.conf 
    sudo /usr/share/logstash/bin/logstash -f 5-tbl_user_info.conf 
    sudo /usr/share/logstash/bin/logstash -f 6-tbl_order_in_pay_log.conf 
    sudo /usr/share/logstash/bin/logstash -f 7-tbl_order_out_pay_log.conf 
    sudo /usr/share/logstash/bin/logstash -f 8-tbl_sparking.conf 
    sudo /usr/share/logstash/bin/logstash -f 9-tbl_account_payment_log.conf 
    sudo /usr/share/logstash/bin/logstash -f 10-tbl_parking_manager.conf 
    sudo /usr/share/logstash/bin/logstash -f 11-tbl_bat_txn.conf
    sudo /usr/share/logstash/bin/logstash -f 12-tbl_bat_pay_txn.conf 
    sudo /usr/share/logstash/bin/logstash -f 13-tbl_bse_info_mchnt.conf
    

这些步骤可帮助您维护服务器,确保 Canal 和 Canal-Adapter 服务正常运行,并手动同步数据以确保数据完整性。

最后把监控加上

cd /home/xiangtan/canal-adapter/logs/adapter
nohup ./monitor.sh &
相关推荐
__雨夜星辰__3 小时前
Linux 学习笔记__Day2
linux·服务器·笔记·学习·centos 7
学问小小谢3 小时前
第26节课:内容安全策略(CSP)—构建安全网页的防御盾
运维·服务器·前端·网络·学习·安全
yaoxin5211234 小时前
第十二章 I 开头的术语
运维·服务器
ProgramHan4 小时前
1992-2025年中国计算机发展状况:服务器、电脑端与移动端的演进
运维·服务器·电脑
Elastic 中国社区官方博客9 小时前
使用真实 Elasticsearch 进行高级集成测试
大数据·数据库·elasticsearch·搜索引擎·全文检索·jenkins·集成测试
好记性+烂笔头9 小时前
4 Spark Streaming
大数据·ajax·spark
m0_4652157910 小时前
TCP & UDP Service Model
服务器·网络·tcp/ip
chian-ocean12 小时前
从理论到实践:Linux 进程替换与 exec 系列函数
linux·运维·服务器
敖行客 Allthinker12 小时前
从 UTC 日期时间字符串获取 Unix 时间戳:C 和 C++ 中的挑战与解决方案
linux·运维·服务器·c++
好记性+烂笔头13 小时前
3 Flink 运行架构
大数据·架构·flink