说说es配置项的动态静态之分和集群配置更新API

这天因为某件工作来到了es官网某个参数配置相关的页面,注意到了下图圆圈里的"Dynamic":

链接:https://www.elastic.co/guide/en/elasticsearch/reference/8.1/modules-cluster.html#misc-cluster-settings

显然这是对配置项的一个描述,点击链接,就能了解到集群/节点的配置分为动态和静态:

页面上的内容很好懂,链接在这里:

https://www.elastic.co/guide/en/elasticsearch/reference/8.1/settings.html#cluster-setting-types,然后我这里还是自己看懂多少写多少了,随意一点。

dynamic settings,动态配置项,就是可以通过cluster update settings API(集群设置更新API)、在运行着的集群上做修改的那些配置项;这些配置项也可以在集群未打开或关闭的状态下通过elasticsearch.yml来配置。

通过cluster update settings API更新的配置项,

可以是永久的(persistent),也可以是临时的(transient)。

永久的会在集群重启后仍然有效;临时的在集群下次重启后即失效;

还可以用给null的方式调用cluster update settings API来重置永久/临时配置项;

这是8.1版本的文档,页面上面说到已经不再推荐使用临时配置项了,因为如果集群不够稳定,临时配置项就会失效,这经常导致一个"用户实际上并没有得到自己想要的集群"这样的状态;文档上还给了临时配置项的迁移指引。

如果实际操作中通过不同的方式修改了同一个配置项,那么es按这个优先级生效:

  1. 临时配置

  2. 永久配置

  3. 配置文件elasticsearch.yml

  4. 默认值

这里页面上给出了一些建议:

如果使用Elasticsearch Service,使用user settings特性来配置集群,这样Elasticsearch Service会自动拒绝不安全的配置操作;

如果是从本地硬件上运行Elasticsearch,那么建议使用cluster update settings API来配置动态配置项,配置文件elasticsearch.yml只用来管理集群/节点的静态配置项,

因为API不需要重启,并且保证所有节点上的配置一致。

static settings就是那些只能在集群还没启动或者已经关闭时,通过elasticsearch.yml来配置的项,必须在集群的每一个节点上都做配置。

好了,现在看看这个cluster update settings API怎么用。页面在这里:

链接是这:

https://www.elastic.co/guide/en/elasticsearch/reference/8.1/cluster-update-settings.html

【先说如何查询得事情】

页面上没说如何查询,问了下deepseek,试试这样:

curl -k -XGET -H "Content-Type: application/json" \

"https://localhost:9200/_cluster/settings?include_defaults=true\&flat_settings=true\&pretty"

这是把所有的配置都打出来了啊,读起来不友好,假设想要看"cluster.max_shards_per_node"是个什么值,加上-s,还有grep试试:

curl -s -k -XGET -H "Content-Type: application/json" \

"https://localhost:9200/_cluster/settings?include_defaults=true\&flat_settings=true\&pretty" | grep "cluster.max_shards_per_node"

这效果可以,虽然这个查询方式无法直观得显示是个永久配置or临时配置or系统默认值,但这个不难,先继续。

上边命令里的"include_defaults=true&flat_settings=true"意味着什么,页面上也说了:

【如何更新某个配置项】

还是以cluster.max_shards_per_node为例吧,假设要永久得改为2000:

curl -s -k -XPUT https://localhost:9200/_cluster/settings?flat_settings=true\&pretty" \

-H 'Content-Type: application/json' -d' \

{

"persistent" : {

"cluster.max_shards_per_node" : 2000

}

}'

查一下看看,生效了:

不打印默认值看看,很稳:

curl -s -k -XGET -H "Content-Type: application/json" \

"https://localhost:9200/_cluster/settings?flat_settings=true\&pretty"

欧。

相关推荐
Elasticsearch14 小时前
通用表达式语言 ( CEL ): CEL 输入如何改进 Elastic Agent 集成中的数据收集
elasticsearch
武子康16 小时前
大数据-236 离线数仓 - 会员指标验证、DataX 导出与广告业务 ODS/DWD/ADS 全流程
大数据·后端·apache hive
武子康2 天前
大数据-235 离线数仓 - 实战:Flume+HDFS+Hive 搭建 ODS/DWD/DWS/ADS 会员分析链路
大数据·后端·apache hive
DianSan_ERP2 天前
电商API接口全链路监控:构建坚不可摧的线上运维防线
大数据·运维·网络·人工智能·git·servlet
够快云库2 天前
能源行业非结构化数据治理实战:从数据沼泽到智能资产
大数据·人工智能·机器学习·企业文件安全
AI周红伟2 天前
周红伟:智能体全栈构建实操:OpenClaw部署+Agent Skills+Seedance+RAG从入门到实战
大数据·人工智能·大模型·智能体
B站计算机毕业设计超人2 天前
计算机毕业设计Django+Vue.js高考推荐系统 高考可视化 大数据毕业设计(源码+LW文档+PPT+详细讲解)
大数据·vue.js·hadoop·django·毕业设计·课程设计·推荐算法
计算机程序猿学长2 天前
大数据毕业设计-基于django的音乐网站数据分析管理系统的设计与实现(源码+LW+部署文档+全bao+远程调试+代码讲解等)
大数据·django·课程设计
B站计算机毕业设计超人2 天前
计算机毕业设计Django+Vue.js音乐推荐系统 音乐可视化 大数据毕业设计 (源码+文档+PPT+讲解)
大数据·vue.js·hadoop·python·spark·django·课程设计
十月南城2 天前
数据湖技术对比——Iceberg、Hudi、Delta的表格格式与维护策略
大数据·数据库·数据仓库·hive·hadoop·spark