elasticsearch索引数据多了怎么办?如何调优和部署?

索引数据的规划,应在前期做好规划,正所谓 " 设计先行,编码在后 " ,这样才能有效的避免突如
其来的数据激增导致集群处理能力不足引发的线上客户检索或者其他业务受到影响。
所以在设计阶段就需要结合自身的业务特点来提前做好规划。
3.1 动态索引层面
基于模板 + 时间 +rollover api 滚动创建索引,举例:设计阶段定义: blog 索引的模板格式为:
blog_index_ 时间戳的形式,每天递增数据。这样做的好处:不至于数据量激增导致单个索引数据量非 常大,接近于上线 2 的 32 次幂 -1 ,索引存储达到了 TB+ 甚至更大。
一旦单个索引很大,存储等各种风险也随之而来,所以要提前考虑 及早避免。
3.2 存储层面
冷热数据分离存储,热数据(比如最近 3 天或者一周的数据),其余为冷数据。
对于冷数据不会再写入新数据,可以考虑定期 force_merge 加 shrink 压缩操作,节省存储空间和检索 效率。
3.3 部署层面
一旦之前没有规划,这里就属于应急策略。
结合 ES 自身的支持动态扩展的特点,动态新增机器的方式可以缓解集群压力,注意:如果之前主节点 等规划合理,不需要重启集群也能完成动态新增的。

相关推荐
阿三08122 小时前
跨境电商售后自动化分级标准:哪些能全自动、哪些半自动、哪些禁止自动化
大数据·人工智能·自动化
游戏新手村3 小时前
蝴蝶图在餐饮门店数据可视化中的应用
大数据·信息可视化·产品经理·数据可视化
GlobalHRTalk4 小时前
埃及名义雇主EOR业务概述与市场发展优势分析
大数据·运维·人工智能
码云数智-园园5 小时前
Hyperf 协程 PHP 实战:传统 PHP 如何实现高并发服务
大数据
找方案6 小时前
北京砸1亿支持智能体:Agent创业迎来黄金窗口期
大数据·人工智能·microsoft
Elasticsearch6 小时前
你的 SLO 已经告急;下面介绍如何在 Elastic Observability 中找出罪魁祸首
elasticsearch
Black蜡笔小新6 小时前
EasyAIS+国标GB28181视频监控平台EasyCVR强强联动,全域视频AI识别能力落地!
大数据·人工智能·音视频
瓦学妹7 小时前
X(Twitter)新号如何防封?2026 养号与防限流全攻略
大数据·网络·人工智能·新媒体运营·twitter
EAIReport7 小时前
企业GEO全域运营技术落地路线与量化效果验证方案(AI大数据行业适配)
大数据·人工智能
希艾席帝恩7 小时前
生产车间智能升级背后,数字孪生发挥了什么作用
大数据·低代码·私有化部署·低代码平台·数字化转型