[开源重构]Search(Elasticsearch/OpenSearch) Sync Tool

开源重构Elasticsearch/OpenSearch Sync Tool

背景

  • 因为要做集群灾备,需要在主备两个集群之间持续性地同步数据,调查过多个方案:
    • CCR(Cross-cluster replication) 官方工具,可惜需要收费,无奈放弃 😦
    • esm 如官方文档说所,最大的特点快 . 可惜也发现不少问题:
      • 同步后发现数据不全,一般需要采用多次执行的方式来补全数据;
      • 调查后发现,其采用的是获取源数据后,使用多个 goroutine 将数据通过bulk写入目标index, 会造成目标index重复写入很多相同数据的问题;
      • 更改源码,加入 --sync 功能,通过 scroll 同时查询源和目标index,比较其内容的方式,实现增量更新(Add/Update/Del), 目前该 PR/84 已经合并到esm中。
      • 目前 esm 的作者已经不再维护,因此后来发现的一些bug也很难改善及合并。
      • 从 issue 和 源码来看, esm 不支持 OpenSearch, esm作者以后也不会再更改

更改

  • 对源码进行了更改,对同步(Sync)功能进行了加强,从而满足我在两个集群之间"近"实时同步的需求。
    • 增加 --stamp 参数,如果 index 中有表示最后更新时间的字段,可以进一步减少查询的数据量(本质是利用esm中的 --query 方式,单独提取出来更易于控制)
    • 增加对 OpenSearch 的支持
    • 对已有代码进行了较大的重构,更改了一些bug
    • 编写通用的集群同步脚本 search_sync.sh, 可以按需同步集群中的index,也可以对每月自动生成的 index 进行处理.
    • 为了方便测试,使用 docker-compose 来设置不同版本,不同类型的 源/目标 集群.

注意

  • 目前主要的更改集中在 --sync 上,其他功能测试的不多,有可能会出现问题.

源码位置

相关推荐
分布式存储与RustFS19 分钟前
Dify 容器一重建知识库就空了:把上传文件和密钥一起存进 RustFS
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
jincheng_xie16 小时前
测试全绿,不等于没改坏:AI 拆一个 1572 行函数后,我又做了四件事
开源
wuyk55517 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
wflynn19 小时前
GitHub 日榜趋势速报 | 2026-11-20
开源·github
分布式存储与RustFS19 小时前
桶里的文件想当目录使:用 ZeroFS 把 RustFS 挂成一棵 POSIX 树
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
分布式存储与RustFS20 小时前
向量表别堆本地盘:用 LanceDB 把数据集建在 RustFS 上
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
Elasticsearch1 天前
4 种模态、100 多种语言、1 个向量空间:Microsoft Foundry 中的 Jina Embeddings v5
elasticsearch
孟健1 天前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
lipku2 天前
LiveTalking 获2026 开源行业解决方案创新赛二等奖
开源
行百里er2 天前
【Spring Insight 技术分享】跨服务调用链路是怎么串起来的?
后端·spring·开源