elasticsearch索引数据多了怎么办?如何调优和部署?

索引数据的规划,应在前期做好规划,正所谓 " 设计先行,编码在后 " ,这样才能有效的避免突如
其来的数据激增导致集群处理能力不足引发的线上客户检索或者其他业务受到影响。
所以在设计阶段就需要结合自身的业务特点来提前做好规划。
3.1 动态索引层面
基于模板 + 时间 +rollover api 滚动创建索引,举例:设计阶段定义: blog 索引的模板格式为:
blog_index_ 时间戳的形式,每天递增数据。这样做的好处:不至于数据量激增导致单个索引数据量非 常大,接近于上线 2 的 32 次幂 -1 ,索引存储达到了 TB+ 甚至更大。
一旦单个索引很大,存储等各种风险也随之而来,所以要提前考虑 及早避免。
3.2 存储层面
冷热数据分离存储,热数据(比如最近 3 天或者一周的数据),其余为冷数据。
对于冷数据不会再写入新数据,可以考虑定期 force_merge 加 shrink 压缩操作,节省存储空间和检索 效率。
3.3 部署层面
一旦之前没有规划,这里就属于应急策略。
结合 ES 自身的支持动态扩展的特点,动态新增机器的方式可以缓解集群压力,注意:如果之前主节点 等规划合理,不需要重启集群也能完成动态新增的。

相关推荐
Elastic 中国社区官方博客29 分钟前
超越相似名称:Elasticsearch semantic text 如何在简洁、高效、集成方面超越 OpenSearch semantic 字段
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
Lx3522 小时前
MapReduce性能调优:从理论到实践的经验总结
大数据·hadoop·后端
vivo互联网技术4 小时前
vivo Pulsar 万亿级消息处理实践(4)-Ansible运维部署
大数据·ansible·自动化运维·pulsar·消息处理·分布式消息中间件
数据智研4 小时前
【数据分享】294市、122区绿色金融指数数据(2000-2022)
大数据
SelectDB5 小时前
SelectDB x 同辕开发:在 ARM 架构下实现 25% 分析性能提升
大数据·数据库·华为
isfox6 小时前
日志数据链路的 “搬运工”:Flume 分布式采集的组件分工与原理
大数据
百胜软件@百胜软件7 小时前
百胜软件×华为云联合赋能,“超级国民品牌”海澜之家新零售加速前行
大数据·华为云·零售
蒋星熠7 小时前
MySQL 到 ClickHouse 明细分析链路改造:数据校验、补偿与延迟治理
android·大数据·开发语言·c++·python·mysql·系统架构
现在,此刻7 小时前
java面试题储备4: 谈谈对es的理解
java·开发语言·elasticsearch