黑马es集群

1、为什么要做es集群

单机的elasticsearch做数据存储,必然面临两个问题:海量数据存储问题、单点故障问题

海量数据存储问题:将索引库从逻辑上拆分为N个分片(shard),存储到多个节点

单点故障问题:将分片数据在不同节点备份(replica)

2、搭建es集群

1、用3个docker容器模拟3个es节点

复制代码
version: '2.2'
services:
  es01:
    image: elasticsearch:7.12.1
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - data01:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    networks:
      - elastic
  es02:
    image: elasticsearch:7.12.1
    container_name: es02
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - data02:/usr/share/elasticsearch/data
    ports:
      - 9201:9200
    networks:
      - elastic
  es03:
    image: elasticsearch:7.12.1
    container_name: es03
    environment:
      - node.name=es03
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02,es03
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - data03:/usr/share/elasticsearch/data
    networks:
      - elastic
    ports:
      - 9202:9200
volumes:
  data01:
    driver: local
  data02:
    driver: local
  data03:
    driver: local

networks:
  elastic:
    driver: bridge

这是一个使用Docker Compose编排的Elasticsearch集群配置文件。在这个配置中,定义了三个Elasticsearch节点(`es01`、`es02`和`es03`)以及它们共享的网络、卷和相关设置。

  • `version: '2.2'`指定了使用的Docker Compose版本。

  • `services`段定义了各个服务,对应了三个Elasticsearch节点`es01`、`es02`和`es03`。

  • 每个Elasticsearch节点都基于`elasticsearch:7.12.1`镜像启动,指定了节点名称、集群名称、发现种子主机、初始主节点和Java虚拟机参数等环境变量配置。

  • `volumes`段定义了三个数据卷`data01`、`data02`和`data03`用于持久化地存储Elasticsearch数据。

  • `ports`指定了将Elasticsearch节点的9200端口(或9200、9201、9202)映射到主机的9200端口(或9201、9202、9203),允许通过主机访问Elasticsearch服务。

  • `networks`段指定了每个Elasticsearch节点连接到`elastic`网络,通过该网络实现节点之间的通信和互连。

  • `volumes`部分定义了三个本地驱动的数据卷用于持久化存储Elasticsearch数据。

  • `networks`部分定义了一个名为`elastic`的桥接网络,用于连接Elasticsearch节点。

这个配置文件实现了一个基于Docker容器的Elasticsearch集群,通过定义各节点之间的通信方式、数据存储方式和网络连接,使得这些独立的Elasticsearch节点能够组成一个工作集群,共同提供Elasticsearch服务。

2、设置虚拟机内存

es运行需要修改一些linux系统权限,修改`/etc/sysctl.conf`文件

vi /etc/sysctl.conf

添加下面的内容:

vm.max_map_count=262144

然后执行命令,让配置生效:

sysctl -p

通过docker-compose启动集群:

docker-compose up -d

3、通过cerebro管理集群

具体文件见黑马视频,需要注意的是java版本的匹配

图中版本我使用的是jdk1.8,实测jdk21会闪退

在地址栏中输入你任意一个es容器地址和端口即可,注意不要忘了http://

es集群的脑裂

默认情况下,每个节点都是master eligible节点,因此一旦master节点宕机,其它候选节点会选举一个成为主节点。当主节点与其他节点网络故障时,可能发生脑裂问题。

为了避免脑裂,需要要求选票超过(eligible节点数量+1)/2才能当选为主,因此eligible节点数量最好是奇数。对应配置项是discovery.zen.minimum master nodes,在es7.0以后,已经成为默认配置,因此一般不会发生脑裂问题

master eligible节点的作用是什么?

参与集群选主

主节点可以管理集群状态、管理分片信息、处理创建和删除索引库的请求

data节点的作用是什么?

数据的CRUD

coordinator节点的作用是什么?

路由请求到其它节点

合并查询到的结果,返回给用户

3、分布式细节

分布式存储

分布式查询

其中的coordinating node也可以是其中节点的任意一个

总结:

分布式新增如何确定分片?

coordinating node根据id做hash运算,得到结果对shard数量取余,余数就是对应的分片

分布式查询:

分散阶段:coordinating node将查询请求分发给不同分片

收集阶段:将查询结果汇总到coordinatingnode,整理并返回给用户

4、故障转移

集群的master节点会监控集群中的节点状态,如果发现有节点宕机,会立即将宕机节点的分片数据迁移到其它节点,确保数据安全,这个叫做故障转移。

主节点挂了就选个新的主节点,然后数据迁移,其他节点挂了就直接数据迁移

故障转移:

master容机后,EligibleMaster选举为新的主节点:

master节点监控分片、节点状态,将故障节点上的分片转移到正常节点,确保数据安全。

相关推荐
SEO_juper1 小时前
用户体验就是新SEO:如何同时提升搜索者满意度和搜索排名
microsoft·搜索引擎·ux·数字营销·seo优化
yumgpkpm1 小时前
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境多个mysql数据库汇聚的操作指南
大数据·hive·hadoop·zookeeper·big data·cloudera
CryptoPP2 小时前
获取越南股票市场列表(包含VN30成分股)实战指南
大数据·服务器·数据库·区块链
跨境小新2 小时前
TG弹出“只能给双向联系人发送消息”的飞机双向限制怎么办?
大数据
数智顾问3 小时前
破解 Shuffle 阻塞:Spark RDD 宽窄依赖在实时特征工程中的实战与未来
大数据·分布式·spark
Giser探索家3 小时前
遥感卫星升轨 / 降轨技术解析:对图像光照、对比度的影响及工程化应用
大数据·人工智能·算法·安全·计算机视觉·分类
lisw054 小时前
数字化科技简化移民流程的 5 种方式
大数据·人工智能·机器学习
NewCarRen4 小时前
基于自动驾驶仿真软件的交通事故档案建模与分析
大数据·汽车功能安全
JAVA学习通5 小时前
OJ竞赛平台----C端题目列表
java·开发语言·jvm·vue.js·elasticsearch
JAVA学习通5 小时前
Replication(下):事务,一致性与共识
大数据·分布式·算法