Elasticsearch8 集群搭建(二)配置篇:(1)节点和集群配置

安装完Elasticsearch后,需要对其进行配置,包括以下几部分:节点和集群配置、系统配置、安全配置。

此篇记录节点和集群配置的内容,后续将更新系统配置和安全配置。

节点和集群配置:

通过编辑/usr/local/elasticsearch-8.10.2/config/elasticsearch.yml文件进行配置,在集群内每个节点上都要进行配置。

1、Cluster部分:

cluster.name: 设置集群名称,保证所有集群内所有节点cluster.name保持一致。

图片来源:Important Elasticsearch configuration | Elasticsearch Guide [8.10] | Elastic

改变集群名称需要完整的集群重启:

Full-cluster restart and rolling restart | Elasticsearch Guide [8.10] | Elastic

2、Node部分:

node.name: 设置节点名称,为每个节点设置不同的名称。

node.roles: 设置节点角色

Node | Elasticsearch Guide [8.10] | Elastic

说明:ES 7.9之前的版本配置节点用类似node.master:true方式,此方法在ES 8.x已舍弃。

(1)主节点

主节点负责轻量级的集群范围的操作,例如创建或删除索引,跟踪哪些节点是集群的一部分,并决定将哪些分片分配给哪些节点。拥有一个稳定的主节点对集群的健康状况很重要。

每个符合主节点条件的节点在磁盘上包含以下数据:集群中每个索引的索引元数据,以及集群范围的元数据,例如设置和索引模板。

专用的主节点配置方式:node.roles: [ master ]

(2)数据节点

数据节点包含包含已编制索引的文档的分片。数据节点处理与数据相关的操作,如 CRUD、搜索和聚合。这些操作会占用大量 I/O、内存和 CPU 资源。监控这些资源,并在数据节点过载时添加更多数据节点很重要。

每个数据节点在磁盘上包含以下数据:分配给该节点的每个分片的分片数据,与分配给该节点的每个分片对应的索引元数据,以及集群范围的元数据,例如设置和索引模板。

专用的数据节点配置方式:node.roles: [ data ]

(3)协调节点

只有协调功能的协调节点作用类似于智能负载均衡器。

专用的协调节点配置方式:node.roles: [ ]

(4)采集节点

采集节点可以执行预处理管道,该管道由一个或多个采集处理器组成。取决于采集处理器执行的操作类型和所需的资源,拥有专用的采集节点是有意义的,该节点将仅执行此特定任务。

专用的采集节点配置方式:node.roles: [ ingest ]

3、Path部分:

(1)path.data:设置节点数据的存储路径,默认在$ES_HOME/data目录下。

每个符合数据和主节点条件的节点都需要访问一个数据目录,其中将存储分片、索引和集群的元数据。

说明:设置多个数据路径的方式,已经在ES 7.13.0版本中弃用。

(2)path.logs: 设置节点日志的存储路径,默认在$ES_HOME/logs目录下。

Elasticsearch 将应用日志况写入到一个logs目录,其中包含集群的健康和运行状。

在生产模式下,建议将path.data和path.logs设置在$ES_HOME之外。

4、Network 部分:

Networking | Elasticsearch Guide [8.10] | Elastic

默认情况下,Elasticsearch 仅绑定到localhost,这意味着它无法被远程访问。此配置足以满足本地开发集群(一个或多个节点都在同一主机上运行)的使用。如果集群有多个主机,或者需要被远程客户端访问,则必须调整某些网络设置如network.host。

(1)network.host:

绑定到一个可以被客户端和其他节点连接到的地址。可以是IP地址、主机名或者一个特定的值。

(2)http.port:

用于 HTTP 客户端通信的端口。可以是一个值或者一个范围,如果指定了范围,则节点将绑定到范围内第一个可用端口。默认是9200-9300.

(3)transport.port:

传输层节点间通信的端口。可以是一个值或者一个范围,如果指定了范围,则节点将绑定到范围内第一个可用端口。默认是9300-9400。

在每个符合主节点条件的节点上,将它设置为一个值,不要设置为一个范围。

(4)http.host

默认跟network.host保持一致

(5)transport.host

默认跟network.host保持一致。

5、Discovery部分:

(1)discovery.seed_hosts:

用于集群内节点间互相发现。提供了集群内符合主节点条件的其他节点列表,可以是IP地址或者主机名。可以是数组或序列形式。

(2)cluster.initial_master_nodes

首次启动 Elasticsearch 集群时,集群bootstrapping步骤要确定一组符合主节点条件的节点,其投票计入第一次选举。在开发模式下,没有discovery设置,此步骤由节点自己自动执行。在生产模式下,auto-bootstrapping不安全,必须明确上述节点列表。列表内容可以是节点名称/主机名/IP地址。

注意:集群首次成功形成后,将cluster.initial_master_nodes这项从每个节点的配置中删掉。重启集群或者在已有集群中加入新节点时不要使用这个设置。

cluster bootstrapping:

Bootstrapping a cluster | Elasticsearch Guide [8.10] | Elastic

开发模式vs生产模式

Important system configuration | Elasticsearch Guide [8.10] | Elastic

相关推荐
数据猿26 分钟前
【金猿案例展】科技日报——大数据科技资讯服务平台
大数据·科技
爱吃土豆的马铃薯ㅤㅤㅤㅤㅤㅤㅤㅤㅤ2 小时前
idea 弹窗 delete remote branch origin/develop-deploy
java·elasticsearch·intellij-idea
Matrix702 小时前
HBase理论_HBase架构组件介绍
大数据·数据库·hbase
SeaTunnel3 小时前
我手搓了个“自动生成标书”的开源大模型工具
大数据
小_太_阳5 小时前
hadoop_yarn详解
大数据·hadoop·yarn
Data-Miner5 小时前
大数据湖项目建设方案(100页WORD)
大数据·big data
XMYX-06 小时前
Python 操作 Elasticsearch 全指南:从连接到数据查询与处理
python·elasticsearch·jenkins
AI服务老曹6 小时前
不仅能够实现前后场的简单互动,而且能够实现人机结合,最终实现整个巡检流程的标准化的智慧园区开源了
大数据·人工智能·深度学习·物联网·开源
落落落sss7 小时前
MQ集群
java·服务器·开发语言·后端·elasticsearch·adb·ruby
管理大亨8 小时前
大数据微服务方案
大数据