canal和ES同步失败维护步骤

ES同步失败维护步骤:

  1. 登录到ES服务器:xx.xx.xx.xx。

  2. 停止 Canal 和 Canal-Adapter 服务:

    复制代码
    cd /root/canal/bin
    ./stop.sh
    
    cd /root/canal-adapter/bin
    ./stop.sh
  3. 确定一下是哪个表修改了主键的值,例如 tbl_sparking,使用 Logstash 手动同步数据:

    shell 复制代码
    cd /root/canal-adapter/elk
    sudo /usr/share/logstash/bin/logstash -f 2-tbl_video_device_info.conf
    #如果遇上内存不足的可以执行
    export LS_JAVA_OPTS="-Xms5g -Xmx5g"
    #如果想要重新同步,不建议
    #查看所有索引
    GET /_cat/indices?v
    #单独删除es索引数据
    DELETE /tbl_video_device_info
  4. 同步完成后,启动 Canal 服务,查看日志以确保启动成功:

    复制代码
    cd /root/canal/bin
    ./startup.sh
    tail -f /root/canal/logs/example/example.log

    如果出现错误,需要先停止 Canal,然后删除 /root/canal/conf/example 下的 meta.dat 文件,再启动 Canal。

  5. Canal 服务正常后,再启动 Canal-Adapter 服务,并查看日志:

    复制代码
    cd /root/canal-adapter/bin
    ./startup.sh
    tail -f /root/canal-adapter/logs/adapter/adapter.log
  6. 此时数据仍不完整,需要使用 Logstash 手动同步全部数据:

    复制代码
    cd /root/canal-adapter/elk
    sudo /usr/share/logstash/bin/logstash -f 1-tbl_ps_device_info.conf 
    sudo /usr/share/logstash/bin/logstash -f 2-tbl_video_device_info.conf 
    sudo /usr/share/logstash/bin/logstash -f 3-tbl_ps_order_in.conf 
    sudo /usr/share/logstash/bin/logstash -f 4-tbl_ps_order_out.conf
    sudo /usr/share/logstash/bin/logstash -f 5-tbl_user_info.conf 
    sudo /usr/share/logstash/bin/logstash -f 6-tbl_order_in_pay_log.conf 
    sudo /usr/share/logstash/bin/logstash -f 7-tbl_order_out_pay_log.conf
    sudo /usr/share/logstash/bin/logstash -f 8-tbl_sparking.conf 
    sudo /usr/share/logstash/bin/logstash -f 9-tbl_account_payment_log.conf 
    sudo /usr/share/logstash/bin/logstash -f 10-tbl_parking_manager.conf 
    sudo /usr/share/logstash/bin/logstash -f 11-tbl_bat_txn.conf
    sudo /usr/share/logstash/bin/logstash -f 12-tbl_bat_pay_txn.conf 
    sudo /usr/share/logstash/bin/logstash -f 13-tbl_bse_info_mchnt.conf
    sudo /usr/share/logstash/bin/logstash -f 14-tbl_online_carinfo.conf
    sudo /usr/share/logstash/bin/logstash -f 15-tbl_trans_order.conf

确保 Canal 和 Canal-Adapter 服务正常运行,并手动同步数据以确保数据完整性。

最后启动监控:

复制代码
   cd /root/canal-adapter/logs/adapter/
   nohup ./monitor.sh &

分页增加:

复制代码
FROM tbl_ps_order_out AS a"
    lowercase_column_names => false
    jdbc_paging_enabled => true
    jdbc_page_size => 10000  # 增加分页大小,以减少总页数
    last_run_metadata_path => "/root/logstash_last_run_metadata"
    clean_run => false
  }

如果更改了ID

也可以通过直接logstash全量同步,这样新的数据就会增加上去,但是原来的还在,需要通过es直接删除之前id的数据,前提是需要知道原来的id是多少。如果不删除,那么就造成了脏数据。

yaml 复制代码
GET tbl_ps_order_out/_search
{
  "query": {
    "match_all": {}
  }
}


DELETE /tbl_trans_order

DELETE /tbl_ps_order_out/_doc/555555555555555555555555555555

但是始终需要停canal-adapter 停canal,起canal,起canal-adapter

相关推荐
Resean02231 小时前
Spring 源码分析(六)循环依赖与三级缓存
java·spring·缓存
倔强的石头_2 小时前
数据库选型四步法:我把候选从十几个缩到两个
数据库
在爪洼山玩泥巴2 小时前
fastjson2 JSONPath 取不存在路径,为什么会抛 “not support”?
java·开发语言·jsonpath·fastjson
Elasticsearch2 小时前
4 种模态、100 多种语言、1 个向量空间:Microsoft Foundry 中的 Jina Embeddings v5
elasticsearch
星落梦生11 小时前
SpringAOP基础笔记(7)
java·开发语言
金銀銅鐵12 小时前
带您看懂字节码指令(四):一条指令里有什么
java·jvm
最强小杰13 小时前
某 OpenAI 兼容网关上的 `kimi-k3.1-pro`:Cline、Zed 接入与 SSE 排错示例
java·服务器·网络·ai
Flynn Liang13 小时前
流量治理不是限流那么简单:I/O 密集型 Java 服务的 6 层防线
java·微服务·高并发·限流·熔断·系统稳定性·resilience4j
学长毕设13 小时前
基于SpringBoot智慧养老服务平台设计与实现-附源码
java·spring boot·后端
曹牧14 小时前
Java:“刷新雪崩”
java·开发语言