说说es配置项的动态静态之分和集群配置更新API

这天因为某件工作来到了es官网某个参数配置相关的页面,注意到了下图圆圈里的"Dynamic":

链接:https://www.elastic.co/guide/en/elasticsearch/reference/8.1/modules-cluster.html#misc-cluster-settings

显然这是对配置项的一个描述,点击链接,就能了解到集群/节点的配置分为动态和静态:

页面上的内容很好懂,链接在这里:

https://www.elastic.co/guide/en/elasticsearch/reference/8.1/settings.html#cluster-setting-types,然后我这里还是自己看懂多少写多少了,随意一点。

dynamic settings,动态配置项,就是可以通过cluster update settings API(集群设置更新API)、在运行着的集群上做修改的那些配置项;这些配置项也可以在集群未打开或关闭的状态下通过elasticsearch.yml来配置。

通过cluster update settings API更新的配置项,

可以是永久的(persistent),也可以是临时的(transient)。

永久的会在集群重启后仍然有效;临时的在集群下次重启后即失效;

还可以用给null的方式调用cluster update settings API来重置永久/临时配置项;

这是8.1版本的文档,页面上面说到已经不再推荐使用临时配置项了,因为如果集群不够稳定,临时配置项就会失效,这经常导致一个"用户实际上并没有得到自己想要的集群"这样的状态;文档上还给了临时配置项的迁移指引。

如果实际操作中通过不同的方式修改了同一个配置项,那么es按这个优先级生效:

  1. 临时配置

  2. 永久配置

  3. 配置文件elasticsearch.yml

  4. 默认值

这里页面上给出了一些建议:

如果使用Elasticsearch Service,使用user settings特性来配置集群,这样Elasticsearch Service会自动拒绝不安全的配置操作;

如果是从本地硬件上运行Elasticsearch,那么建议使用cluster update settings API来配置动态配置项,配置文件elasticsearch.yml只用来管理集群/节点的静态配置项,

因为API不需要重启,并且保证所有节点上的配置一致。

static settings就是那些只能在集群还没启动或者已经关闭时,通过elasticsearch.yml来配置的项,必须在集群的每一个节点上都做配置。

好了,现在看看这个cluster update settings API怎么用。页面在这里:

链接是这:

https://www.elastic.co/guide/en/elasticsearch/reference/8.1/cluster-update-settings.html

【先说如何查询得事情】

页面上没说如何查询,问了下deepseek,试试这样:

curl -k -XGET -H "Content-Type: application/json" \

"https://localhost:9200/_cluster/settings?include_defaults=true\&flat_settings=true\&pretty"

这是把所有的配置都打出来了啊,读起来不友好,假设想要看"cluster.max_shards_per_node"是个什么值,加上-s,还有grep试试:

curl -s -k -XGET -H "Content-Type: application/json" \

"https://localhost:9200/_cluster/settings?include_defaults=true\&flat_settings=true\&pretty" | grep "cluster.max_shards_per_node"

这效果可以,虽然这个查询方式无法直观得显示是个永久配置or临时配置or系统默认值,但这个不难,先继续。

上边命令里的"include_defaults=true&flat_settings=true"意味着什么,页面上也说了:

【如何更新某个配置项】

还是以cluster.max_shards_per_node为例吧,假设要永久得改为2000:

curl -s -k -XPUT https://localhost:9200/_cluster/settings?flat_settings=true\&pretty" \

-H 'Content-Type: application/json' -d' \

{

"persistent" : {

"cluster.max_shards_per_node" : 2000

}

}'

查一下看看,生效了:

不打印默认值看看,很稳:

curl -s -k -XGET -H "Content-Type: application/json" \

"https://localhost:9200/_cluster/settings?flat_settings=true\&pretty"

欧。

相关推荐
TDengine (老段)8 小时前
TDengine 数学函数 DEGRESS 用户手册
大数据·数据库·sql·物联网·时序数据库·iot·tdengine
TDengine (老段)8 小时前
TDengine 数学函数 GREATEST 用户手册
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
失散139 小时前
分布式专题——47 ElasticSearch搜索相关性详解
java·分布式·elasticsearch·架构
字节数据平台9 小时前
火山引擎Data Agent再拓新场景,重磅推出用户研究Agent
大数据·人工智能·火山引擎
铭毅天下12 小时前
Elasticsearch 到 Easysearch 数据迁移 5 种方案选型实战总结
大数据·elasticsearch·搜索引擎·全文检索
跨境小新12 小时前
Facebook广告投放:地域定向流量不精准?x个优化指南
大数据·facebook
ZKNOW甄知科技13 小时前
客户案例 | 派克新材x甄知科技,构建全场景智能IT运维体系
大数据·运维·人工智能·科技·低代码·微服务·制造
币须赢13 小时前
688758赛分科技 阴上阴形态 洗盘上涨?
大数据
学掌门14 小时前
大数据知识合集之预处理方法
大数据
Elastic 中国社区官方博客15 小时前
Elasticsearch 推理 API 增加了开放的可定制服务
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索