Elasticsearch 索引数据多了,调优,部署方案

1:动态索引层面

基于 模板+时间+rollover api 滚动 创建索引,举例:设计阶段定义:blog 索引的模板格式为:blog_index_时间戳的形式,每天递增数据。这样做的好处:不至于数据量激增导致单个索引数据量非常大,接近于上线 2 的32 次幂-1,索引存储达到了 TB+甚至更大。一旦单个索引很大,存储等各种风险也随之而来,所以要提前考虑+及早避免。

2: 存储层面

冷热数据分离存储 ,热数据(比如最近 3 天或者一周的数据),其余为冷数据。对于冷数据不会再写入新数据,可以考虑定期 force_merge 加 shrink 压缩操作,节省存储空间和检索效率。

3:部署层面

一旦之前没有规划,这里就属于应急策略。结合 ES 自身的支持动态扩展的特点,动态新增机器的方式可以缓解集群压力,注意:如果之前主节点等 规划合理 ,不需要重启集群也能完成动态新增的。

相关推荐
谷新龙0016 分钟前
Elasticsearch服务器开发(第2版) - 读书笔记 第二章 索引
服务器·elasticsearch
爱吃小土豆豆豆豆37 分钟前
登录校验一
java·大数据·数据库
lifallen40 分钟前
hadoop.yarn 带时间的LRU 延迟删除
java·大数据·数据结构·hadoop·分布式·算法
zhongqu_3dnest1 小时前
VR 博物馆:开启文化探索新旅程
大数据
所念皆为东辞1 小时前
elk部署加日志收集
linux·elk·elasticsearch·centos
可曾去过倒悬山7 小时前
Mac上优雅简单地使用Git:从入门到高效工作流
git·elasticsearch·macos
微学AI7 小时前
时序数据库选型指南:工业大数据场景下基于Apache IoTDB技术价值与实践路径
大数据·apache·时序数据库
Hello.Reader9 小时前
用 Go Typed Client 快速上手 Elasticsearch —— 从建索引到聚合的完整实战
elasticsearch·golang·jenkins
lingling00910 小时前
颐顿机电携手观远BI数据:以数据驱动决策,领跑先进制造智能化升级
大数据·人工智能·制造
b***251110 小时前
电池自动生产线:科技赋能下的高效制造新范式
大数据·人工智能