ElasticSearch备考 -- Cross cluster replication(CCR)

一、题目

操作在cluster1(local)中操作索引task,复制到cluster2(remote)中

二、思考

CCR 我们可以对标MySQL 理解为为主从,后者备份。主节点负责写入数据,从/备节点负责同步时主节点的数据。

注意:这个特性是白金版付费功能,需要激活 30 天的 License,学习试用。

准备条件

1)准备两个集群

2)两个集群前置配置:xpack 设置true

3)从集群配置角色 remote_cluster_client

4)两个集群开启试用license

三、解题

Step 1、从集群配置主集群 leader

bash 复制代码
PUT /_cluster/settings
{
  "persistent": {
    "cluster": {
      "remote": {
        "leader": {
          "seeds": [
            "127.0.0.1:9300"
          ]
        }
      }
    }
  }
}

通过如下命令可以在从集群监测一下remote配置是否成功。

bash 复制代码
GET /_remote/info

Step 2、集群配置权限

在cluster2(remote)上配置对索引的只读权限

bash 复制代码
POST /_security/role/remote-replication
{
  "cluster": [
    "read_ccr"
  ],
  "indices": [
    {
      "names": [
        "task"
      ],
      "privileges": [
        "monitor",
        "read"
      ]
    }
  ]
}

在cluster1 (local)上设置写角色

bash 复制代码
POST /_security/role/remote-replication
{
  "cluster": [
    "manage_ccr"
  ],
  "indices": [
    {
      "names": [
        "task"
      ],
      "privileges": [
        "monitor",
        "read",
        "write",
        "manage_follow_index"
      ]
    }
  ]
}

Setp 3、创建自动跟踪模式以自动跟踪在远程集群中创建的索引

step 4、验证

在local 增加数据

bash 复制代码
POST task/_bulk
{"create":{"_id":1}}
{"a":"key","b":"mom","c":"mom"}
{"create":{"_id":2}}
{"a":"key","b":"cake mix","c":"mom"}
{"create":{"_id":3}}
{"a":"key","b":"mom","c":"cake mix"}
{"create":{"_id":4}}
{"a":"cake mix","b":"mom","c":"mom"}

在remote 查询数据

bash 复制代码
GET task_leader/_search

查询结果

四、总结

  • CCR 可以对标MySQL 理解为为主从。主节点负责写入数据,从/备节点负责同步时主节点的数据。
  • CCR 特性是否付费功能,可以开启试用license 30天体验
  • CCR 必须开启 Xpack
  • 从集群配置角色 remote_cluster_client

参考资料

送一波福利:

福利一

有需要内推JD的同学,可以私信或留言,我帮您内推,流程快!!!

有需要内推JD的同学,可以私信或留言,我帮您内推,流程快!!!

有需要内推JD的同学,可以私信或留言,我帮您内推,流程快!!!

福利二

福利三

相关推荐
武子康13 小时前
大数据-237 离线数仓 - Hive 广告业务实战:ODS→DWD 事件解析、广告明细与转化分析落地
大数据·后端·apache hive
大大大大晴天15 小时前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
Elasticsearch2 天前
如何使用 Agent Builder 排查 Kubernetes Pod 重启和 OOMKilled 事件
elasticsearch
Elasticsearch3 天前
通用表达式语言 ( CEL ): CEL 输入如何改进 Elastic Agent 集成中的数据收集
elasticsearch
武子康3 天前
大数据-236 离线数仓 - 会员指标验证、DataX 导出与广告业务 ODS/DWD/ADS 全流程
大数据·后端·apache hive
武子康4 天前
大数据-235 离线数仓 - 实战:Flume+HDFS+Hive 搭建 ODS/DWD/DWS/ADS 会员分析链路
大数据·后端·apache hive
DianSan_ERP4 天前
电商API接口全链路监控:构建坚不可摧的线上运维防线
大数据·运维·网络·人工智能·git·servlet
够快云库4 天前
能源行业非结构化数据治理实战:从数据沼泽到智能资产
大数据·人工智能·机器学习·企业文件安全
西岸行者4 天前
学习笔记:SKILLS 能帮助更好的vibe coding
笔记·学习
AI周红伟4 天前
周红伟:智能体全栈构建实操:OpenClaw部署+Agent Skills+Seedance+RAG从入门到实战
大数据·人工智能·大模型·智能体