Elasticsearch 索引数据多了,调优,部署方案

1:动态索引层面

基于 模板+时间+rollover api 滚动 创建索引,举例:设计阶段定义:blog 索引的模板格式为:blog_index_时间戳的形式,每天递增数据。这样做的好处:不至于数据量激增导致单个索引数据量非常大,接近于上线 2 的32 次幂-1,索引存储达到了 TB+甚至更大。一旦单个索引很大,存储等各种风险也随之而来,所以要提前考虑+及早避免。

2: 存储层面

冷热数据分离存储 ,热数据(比如最近 3 天或者一周的数据),其余为冷数据。对于冷数据不会再写入新数据,可以考虑定期 force_merge 加 shrink 压缩操作,节省存储空间和检索效率。

3:部署层面

一旦之前没有规划,这里就属于应急策略。结合 ES 自身的支持动态扩展的特点,动态新增机器的方式可以缓解集群压力,注意:如果之前主节点等 规划合理 ,不需要重启集群也能完成动态新增的。

相关推荐
村雨遥36 分钟前
Flink 状态管理的核心能力
大数据·flink
qq_508823407 小时前
金融量化指标--2Alpha 阿尔法
大数据·人工智能
好家伙VCC8 小时前
数学建模模型 全网最全 数学建模常见算法汇总 含代码分析讲解
大数据·嵌入式硬件·算法·数学建模
tan180°10 小时前
Boost搜索引擎 网络库与前端(4)
linux·网络·c++·搜索引擎
2301_7816686110 小时前
Elasticsearch 02
大数据·elasticsearch·搜索引擎
isfox11 小时前
Google GFS 深度解析:分布式文件系统的开山之作
大数据·hadoop
用户Taobaoapi201412 小时前
京东店铺所有商品API技术开发文档
大数据·数据挖掘·数据分析
LaughingZhu12 小时前
Product Hunt 每日热榜 | 2025-09-07
人工智能·经验分享·搜索引擎·产品运营
在未来等你12 小时前
Kafka面试精讲 Day 8:日志清理与数据保留策略
大数据·分布式·面试·kafka·消息队列
江畔独步13 小时前
Flink TaskManager日志时间与实际时间有偏差
大数据·flink