索引数据的规划,应在前期做好规划,正所谓 " 设计先行,编码在后 " ,这样才能有效的避免突如
其来的数据激增导致集群处理能力不足引发的线上客户检索或者其他业务受到影响。
所以在设计阶段就需要结合自身的业务特点来提前做好规划。
3.1 动态索引层面
基于模板 + 时间 +rollover api 滚动创建索引,举例:设计阶段定义: blog 索引的模板格式为:
blog_index_ 时间戳的形式,每天递增数据。这样做的好处:不至于数据量激增导致单个索引数据量非 常大,接近于上线 2 的 32 次幂 -1 ,索引存储达到了 TB+ 甚至更大。
一旦单个索引很大,存储等各种风险也随之而来,所以要提前考虑 及早避免。
3.2 存储层面
冷热数据分离存储,热数据(比如最近 3 天或者一周的数据),其余为冷数据。
对于冷数据不会再写入新数据,可以考虑定期 force_merge 加 shrink 压缩操作,节省存储空间和检索 效率。
3.3 部署层面
一旦之前没有规划,这里就属于应急策略。
结合 ES 自身的支持动态扩展的特点,动态新增机器的方式可以缓解集群压力,注意:如果之前主节点 等规划合理,不需要重启集群也能完成动态新增的。
elasticsearch索引数据多了怎么办?如何调优和部署?
zhaoliubao12024-03-26 20:31
相关推荐
计算机源码社4 分钟前
【大数据项目实战】基于Python数据挖掘的新能源车充电行为关联风险分析研究-基于Hadoop+Spark的电动汽车故障多维数据可视化tqs_123458 分钟前
OPC量产变现|全网挖掘6个可直接落地AI软件需求清单心易行者31 分钟前
用HTML在线运行搭后台管理系统:5个核心模块+0服务器,3天跑通完整业务HanhahnaH32 分钟前
Spark 任务如何实现幂等?YH行业报告分析1 小时前
2026年全球医用功率调节器市场格局:技术升级与区域分化下的增长逻辑小飞象—木兮1 小时前
BCG波士顿矩阵深度解析及应用指南:核心逻辑、落地路径、常见误区、案例Raas1001 小时前
AI网关有哪些功能?MAI Gateway(魔芋企业级AI网关)实战能力深度解读金融Tech趋势派9 小时前
私域运营为主该选哪款企业微信SCRM?2026主流选型测评计算机源码社9 小时前
【大数据项目实战】基于大数据的影视内容生态综合质量分析与可视化-基于数据挖掘的影视内容类型共现与口碑聚类分析系统